- Foxtable(狐表) (http://foxtable.net/bbs/index.asp)
-- 专家坐堂 (http://foxtable.net/bbs/list.asp?boardid=2)
---- 【求助】如何获取今日头条中的所有页面的网页代码，然后读取文章标题、阅读数、评论数、发布时间到对应的表格中保存 (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=84510)
-- 发布时间：2016/5/4 9:56:00
-- 【求助】如何获取今日头条中的所有页面的网页代码，然后读取文章标题、阅读数、评论数、发布时间到对应的表格中保存
-- 发布时间：2016/5/4 10:02:00
--
Dim web As new System.Windows.Forms.WebBrowser
web.Navigate("http://toutiao.com/m6051259851/")
Do Until web.ReadyState = 4
Application.DoEvents
Loop
Dim pg = web.Document.GetElementById("pagebar")
For Each a As object In pg.GetElementsByTagName("a")
msgbox(a.innerText & " " & a.GetAttribute("href"))
Next
-- 发布时间：2016/5/4 10:03:00
--
请自己去学习一下如何获取html里面元素的内容。
-- 发布时间：2016/5/11 16:51:00
-- 回复：（大红袍） 请自己去学习一下如何获取html...
正则表达式弄了许久都没有搞定 越搞越乱咯
<div class="pin">
<a class="close" href="#" group_id="6230520256486441473" title="不感兴趣"></a>
<div class="pin-content" data-type="context" group_id="6230520256486441473">
<table width="680">
<tr>
<td height="35">
<h3>
<a href="http://toutiao.com/item/6283004838989005313/" target="_blank" ga_event="source_url" ga_label="index_feed" >关注｜“司法考试”将更名为“法律职业资格考试”考试难度有所上升</a></h3>
</td>
</tr>
<tr>
<td>
<div style="float:left; max-height:180px; overflow:hidden; margin-right:10px" class="img_bg shadow_img">
<a target="_blank" href="http://toutiao.com/item/6283004838989005313/" ga_event="source_url" ga_label="index_feed"><img src="http://p2.pstatp.com/list/5c40008f9d353ab6875" width="202" />
</a>
</div>
<div class="text">2016-05-09 贵州检察来源 | 山东省人民检察院微信公众号“司法考试”更名为“法律职业资格考试”的法治意义“司法考试”将更名为“法律职业资格考试” 标志着法律职业共同体的真正形成一、“司法考试制度”到“国家统一法律职业资格考试制度”，标志法律职业共同体将真正形成中共中央办</div>
<div class="clearfix"></div>
</td>
</tr>
<tr>
<td>
<table class="item_info" width="100%">
<tr>
<td>阅读: 194</td>
<td>评论: 0</td>
<td align="right">2016-05-10 16:46</td>
</tr>
</table>
</td>
</tr>
</table>
</div>
</div>
经过在命令窗口中运行如下：
Dim web As new System.Windows.Forms.WebBrowser
web.Navigate("http://toutiao.com/m6051259851/")
Do Until web.ReadyState = 4
Application.DoEvents
Loop
Dim bt As System.Windows.Forms.HtmlElement
bt = web.Document.GetElementByID("keywords") \'今日头条单位标题
Output.Show(bt.innerText & " " & bt.GetAttribute("content"))
Dim jj As System.Windows.Forms.HtmlElement
jj = web.Document.GetElementByID("description") \'今日头条单位简介
Output.Show(jj.innerText & " " & jj.GetAttribute("content"))
Dim bt1 As System.Windows.Forms.HtmlElement
bt1 = web.Document.GetElementByID("pin-content") \'
Output.Show(bt1.innerText & " " & bt1.GetAttribute("href")) 这个部分的代码不起作用 是不是ID元素错误啦
运行报错
此主题相关图片如下：30c2.tm.png
求解决错误
并获取下列红色框中数据
此主题相关图片如下：c15f.tm.png
-- 发布时间：2016/5/11 17:25:00
--
参考
Dim web As new System.Windows.Forms.WebBrowser
web.ScriptErrorsSuppressed = True
web.Navigate("http://toutiao.com/m6051259851/")
Do Until web.ReadyState = 4
Application.DoEvents
Loop
Dim divs = web.Document.GetElementById("ColumnContainer")
For Each div As object In divs.GetElementsByTagName("div")
If div.GetAttribute("ClassName") = "pin" Then
Dim tbs = div.GetElementsByTagName("table")
Dim trs = tbs(0).GetElementsByTagName("tr")
output.show(trs(0).GetElementsByTagName("h3")(0).Innertext)
output.show(trs(1).GetElementsByTagName("div")(1).Innertext)
Dim tds = trs(2).GetElementsByTagName("td")
output.show(tds(1).innertext)
output.show(tds(2).innertext)
output.show(tds(3).innertext)
output.show("------")
End If
Next
-- 发布时间：2016/5/11 18:57:00
-- 回复：（大红袍）参考?Dim web As new Syste...
试问又如何实现7个页面的全部数据读取？
-- 发布时间：2016/5/11 19:29:00
--
看2楼，结合5楼，换一下地址就行啊。
-- 发布时间：2016/5/11 19:45:00
-- 回复：（大红袍）看2楼，结合5楼，换一下地址就行啊。...
| 下载信息 [文件大小： 下载次数： ] | |
 点击浏览该文件:管理项目1.table |
-- 发布时间：2016/5/11 20:00:00
--
Dim web As new System.Windows.Forms.WebBrowser
web.ScriptErrorsSuppressed = True
web.Navigate("http://toutiao.com/m6051259851/")
Do Until web.ReadyState = 4
Application.DoEvents
Loop
Dim pg = web.Document.GetElementById("pagebar").GetElementsByTagName("a")
Dim mpg As Integer = pg(pg.count-2).Innertext
DataTables("文章列表").DataRows.Clear
For i As Integer = 1 To mpg
web.Navigate("http://toutiao.com/m6051259851/p" & i)
Do Until web.ReadyState = 4
Application.DoEvents
Loop
Dim bt As System.Windows.Forms.HtmlElement
bt = web.Document.GetElementByID("keywords") \'今日头条单位标题
Output.Show(bt.innerText & " " & bt.GetAttribute("content"))
Dim divs = web.Document.GetElementById("ColumnContainer")
For Each div As object In divs.GetElementsByTagName("div")
If div.GetAttribute("ClassName") = "pin" Then
Dim tbs = div.GetElementsByTagName("table")
Dim trs = tbs(0).GetElementsByTagName("tr")
output.show(trs(0).GetElementsByTagName("h3")(0).Innertext) \'文章标题
output.show(trs(0).GetElementsByTagName("a")(0).GetAttribute("href")) \'文章标题
output.show(trs(1).GetElementsByTagName("div")(1).Innertext) \'正文
Dim tds = trs(2).GetElementsByTagName("td")
output.show(tds(1).innertext) \'阅读数
output.show(tds(2).innertext) \'评论数
output.show(tds(3).innertext) \'发布时间
output.show("------")
Dim dr As DataRow = DataTables("文章列表").AddNew()
Dim 阅读数 As String = tds(1).innertext
Dim Parts() As String = 阅读数.Split(":")
Dim 评论数 As String = tds(2).innertext
Dim Parts1() As String = 评论数.Split(":")
dr("单位") = bt.innerText & " " & bt.GetAttribute("content")
dr("文章标题") = trs(0).GetElementsByTagName("h3")(0).Innertext
dr("发布时间") = tds(3).innertext
dr("阅读数") = Parts(1)
dr("评论数") = Parts1(1)
dr("正文") = trs(1).GetElementsByTagName("div")(1).Innertext
dr("网址") = trs(0).GetElementsByTagName("a")(0).GetAttribute("href")
End If
Next
Next
-- 发布时间：2016/5/11 21:06:00
-- 回复：（大红袍）Dim web As new System.Windows.Form...
好奇怪的问题 居然一样的操作 有三都 福泉 平塘的不能读取数据 错误如下 三个都一样
