以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  求助:网页动态加载十行,怎么解析出当前所有行的数据呢?  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=92345)

--  作者:李孝春
--  发布时间:2016/11/1 14:17:00
--  求助:网页动态加载十行,怎么解析出当前所有行的数据呢?


Dim web As new System.Windows.Forms.WebBrowser
web.ScriptErrorsSuppressed = True
web.Navigate("http://toutiao.com/m6114233861/")

Do Until web.ReadyState = 4 AndAlso web.Document.GetElementById("content-left") IsNot Nothing AndAlso web.Document.GetElementById("content-left").GetElementsByTagName("li").count > 0
    Application.DoEvents
Loop
Dim lis = web.Document.GetElementById("content-left").GetElementsByTagName("li")
DataTables("文章列表").DataRows.Clear
For i As Integer = 0 To lis.count-1
    Dim lsa = lis(i).GetElementsByTagName("a")
    output.show(lsa(0).InnerHtml)
Next


上述代码实现的是十行数据加载,怎么实现所有行数据加载呢?


上述代码实现了文章标题的获取,但是如果需要加载A标签下  class="title-box link" 这个的值 怎么代码中加上呢?


要获取多个文章列表元素下的内容,怎么操作呢?红色框内都是需要显示出来的数据!


图片点击可在新窗口打开查看此主题相关图片如下:qq图片20161101141837.png
图片点击可在新窗口打开查看


文章列表部分格式如下:



图片点击可在新窗口打开查看此主题相关图片如下:qq图片20161101141559.png
图片点击可在新窗口打开查看


[此贴子已经被作者于2016/11/1 14:21:47编辑过]

--  作者:有点色
--  发布时间:2016/11/1 17:01:00
--  

 只能模拟获取,参考下面实例,细节自己调整

 

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:今日头条_小例.table


--  作者:李孝春
--  发布时间:2016/11/1 17:28:00
--  回复:(有点色) 只能模拟获取,参考下面实例,...
还得麻烦有点色老师再看看:

图片点击可在新窗口打开查看此主题相关图片如下:11111.png
图片点击可在新窗口打开查看
凡是都为图文标题的都没有显示出来哦?
下图是图文标题的源码结构:

图片点击可在新窗口打开查看此主题相关图片如下:11112.png
图片点击可在新窗口打开查看


--  作者:有点色
--  发布时间:2016/11/1 18:21:00
--  

灵活变通,参考

 

Dim web = e.Form.controls("webbrowser1").basecontrol
web.ScriptErrorsSuppressed = True
web.Navigate("http://toutiao.com/m6114233861/")

Do Until web.ReadyState = 4
    Application.DoEvents
Loop

Do Until web.DocumentText.contains("没有更多啦")
    web.Document.Window.ScrollTo(0, 0)
    web.Document.Window.ScrollTo(0, web.Document.Body.ScrollRectangle.Height)
    Application.DoEvents
Loop

Dim lis = web.Document.GetElementById("content-left").GetElementsByTagName("li")
Dim str As String = ""
For i As Integer = 0 To lis.count-1
    Dim lsa = lis(i).GetElementsByTagName("a")
    For Each a As object In lsa
        If a.GetAttribute("className") = "title-box link" Then
            str &= a.InnerHtml & vbcrlf
            str &= a.GetAttribute("href") & vbcrlf
            Dim lsspan = lis(i).GetElementsByTagName("span")
            str &= lsspan(0).InnerHtml & " " & lsspan(1).InnerHtml & " " & lsspan(2).InnerHtml & vbcrlf & vbcrlf
        End If
    Next
Next
e.Form.controls("textbox1").text = str