今日头条数据抓取（今日头条数据采集）
本文目录一览：
使用HTTPS的网站也能被黑客监听到数据吗？
HTTPS不是牢不可破的。使用HTTPS的网站当然也能被黑客监听到数据。我们就以抓取今日头条PC版和APP来演示一下抓取HTTPS包的方法。
一、电脑浏览器抓包，推荐用chrome浏览器。
我们以抓取以今日头条里的搜索海阳顶端头条号数据为例。用chrome打开然后在搜索框里输入海阳顶端四个汉字。先不要点搜索，按下F12，在右侧面板顶上选中Network，再点击搜索按扭。
你会看到我们已经抓取到了在今日头条上搜索海阳顶端的HTTP数据包。我们这次抓到是GET包，URL是：
如果你直接在浏览器里输入这些，会返回一些JSON数据:
{"message":"success","data":["海阳顶端","海阳顶端黑客教会你","海阳顶端给你准备好了"]}
里边的success，我们还是看得懂的。而且用chrome，无论是http的还是加密的https数据我们都能抓到。
二、手机抓取浏览器数据包，推荐用HttpInterceptor
我们不用网上教程中的burpsuite和fiddler，两个软件不仅全英文的，而且操作也麻烦，需要电脑和手机配合，我们只需一个HttpInterceptor，国人制作，并且只用一个手机就可以。下载地址是装这个软件之前，你需要手机先设定一个锁屏密码。
1、第一次进入程序需要安装CA证书以便进行HTTPS抓包（原理同fiddler，MITM中间人）。现在很多数据包都是https的了，我们必须做这步。安装后程序会让你点击确认按钮，屏幕Toast显示已安装即为成功，可访问进行测试。
2、全局抓包。上边做到的只能抓浏览器的包，要抓APP里的，好比抓今日头条APP的包呢？需要将代理手动修改至127.0.0.1:8888，可抓取别的APP的HTTP数据包。长按已连接的WIFI，修改网络，显示高级选项，修改代理服务器为手动，然后写入代理主机名和端口分别为127.0.0.1:8888。
3、一切修改完成后，我们不要关HttpInterceptor，打开今日头条APP后，随便看一篇文章，就在HttpInterceptor里看到抓取的数据了。 我看的是《如何用域名等资料反查企业信息？海阳顶端黑客教会你》这篇文章，这么好的文章，点击量怎么哪么低。我们点击HttpInterceptor主界面的个向上箭头的圆图标：
选中你抓取数据包的哪条URL，再点预览，就出详细数据包了。把这篇文章的参数看得很清楚啦。
这下子，电脑和手机里的浏览器（包括发送http数据的app）抓包你是不是会了呢？这篇文章本来在我的头条号里，我搬过来回答你一下，欢迎大家关注海阳顶端。
爬今日头条，各种失败经验，之后成功了
最近研究了一下js加密，发现今日头条比较适合练手，在头条获取数据的XHR中request参数有一项_signature参数，这个是就是经过js加密的数据。解决方案在最后。
先说寻找逻辑，叫顺藤摸瓜，藤是params中的key，瓜是js函数，在哪里摸，我用的是chrome F12，全局查找，就是在网址ctrl+f，注意看结果，前面有url这种一般都是在headers之类带着没什么价值，要看出来具体数据的。
然后在preview里，格式化看得清楚，还是查找signature。
这样就成功一大半了。顺便还找到了as和cp
as: e.as,cp: e.cp,
这个e也在前面定义了var e = ascp.getHoney()，然后在搜索getHoney，就找到了。
把这段复制进pycharm的zhu.js文件里，然后新建一个python文件来运行，nodejs直接运行也行。
额，报错了，execjs._exceptions.ProgramError: ReferenceError: md5 is not defined
赶紧查了一下md5是个加密模块， nodejs安装MD5 ，然后改装了改装一下，增加了var md5 = require('md5-node');运行成功。
然后就到了signature， _signature: i，i = TAC.sign("refresh" === t ? 0 : r.params.max_behot_time_tmp))
params.max_behot_time_tmp应该是在回传的数据里的max_behot_time了。
首次请求是0，后来的是根据前一次请求的后传数据继续请求。
不知所云，但还是按照老办法试试看能不能运行。
execjs._exceptions.ProgramError: TypeError: Cannot read property 'userAgent' of undefined。
这回我参考一下 别人怎么办
原来要加useagent，
global.navigator={};
global.navigator.userAgent=
然后变成这样
调用发现又有错误：
好像说的是var data = TAC.sign(0);之前出现了一个不该出现的逗号，把它改成分号，果然成功了，
满怀欣喜的把signature，cp，as找到拼接成url发送，结果并不能返回数据。
有些忧郁的又看看别人怎么办， 用selenium获取参数 ，phantomjs不维护了，听说chrome headless可以替代之， 别人家说这么用 ，chrome还是打开窗口了，后来发现chromedriver.exe版本与chrome有严格的对应关系。 官网这样说
总算是chrome是无头的了，现在只差跟着up主把参数弄出来就行了，因为有了前面的查找，selenium执行的函数名称也很清楚，
signature = brower.execute_script('return TAC.sign(0)')
果然出来一个参数，开心的拼接url发送请求还是没数据回来。。。
忧伤的想了好久，尝试了多次，终于在手机版里发现可以不用cp和as参数，用哪里生成的signature都能拼接出结果，只是max_behot_time是藏在前一页最后一项的信息里
用requests的session或者scrapy都能连续爬取了。不过m站将返回数量20写进了js里，更改params的参数也不能控制一次的爬取量还是很是遗憾。
结果
好像必须带着cookie才能爬取后续的，不然永远都只能爬取第一页的内容，获取cookie用request的session都不行可能只能用selenium获取cookie之后再来。忧伤。。。
今日头条有哪些相对应的数据采集及分析工具
今日头条的数据采集及分析工具有高清图片 、图片设计 、视频素材 、文案工具 、排版工具 、音乐素材 、热点分析工具 、格式转换工具等，根据制作要求选用不同的工具。
今日头条是北京字节跳动科技有限公司开发的一款基于数据挖掘的推荐引擎产品，为用户推荐信息、提供连接人与信息的服务的产品。
抓取今日头条数据二次开发违法吗
当然违法，任何文章的作者都是有版权的，在互联网上发表也只是授权今日头条数据抓取了一家，而没有授权其今日头条数据抓取他人，而今日头条在完全没有征得作者的同意的情况下私自转载，完全就是一种侵犯个人版权的行为，很多作者告过，但是人家直接删了，文章时效一过删了就得了，完全没有任何影响今日头条数据抓取！
