使用ajax爬取各视频网站的评论数据(一)

  1. 爬取“优酷“视频评论

首先打开优酷的pc端网址:http://youku.com/,随便进入一个视频,我这里进入的是:http://v.youku.com/v_show/id_XMzExMTM5ODI5Ng==.html?spm=a2h0j.8191423.chasing.1~3~A这个视频链接,然后找到评论区,如下图:

        但是这些评论怎么获取呢?我们去点击一下分页试试,发现浏览器地址栏链接没有变化,所以我们可以确定评论区应该是ajax动态加载的。接下来我们就要找出这个异步请求的地址,怎么找呢?这里我们就要借助谷歌浏览器的调试模式了,快捷键F12打开开发者模式,如下:

接下来我们要把调试面板切换到Network,点击xhr标签(异步请求),现在控制台应该是空白的,如下:

这时,我们点击分页页码,或者下一页按钮看看,窝草,还是什么都没有,怎么回事呢?我们把标签切换的js:

终于有东西显示了,原来优酷的评论是通过jsonp的方式传输的,(对jsonp请求方式不了解的童鞋自行百度哈);见到了commentList?XXX的请求,应该就是这货了,点击这个请求链接看看:

看到了这些评论数据。或者我们把请求链接复制到浏览器请求也行,链接“http://p.comments.youku.com/ycp/comment/pc/commentList?jsoncallback=n_commentList&app=100-DDwODVkv&objectId=777849574&objectType=1&listType=0&currentPage=3&pageSize=30&sign=b9af46b6d144f789b44c615f0f4984a9&time=1509695827”,请求之后也能在浏览器中显示出来:

这样,我们就获取到了评论数据的请求地址。但是这只是某一个固定视频的评论数据,如果我想在一个输入框中输入任意一个视频的地址,就能获取该视频的所有评论该怎么做呢?下节我们继续讲

效果演示见:http://jsh5css.cn/pachong/

发布者

小五

前端开发爱好者,关注前端新技术。

发表评论

电子邮件地址不会被公开。