爬今日头条python（python爬取今日头条）
本文目录一览：
- 1、python有哪些就业方向
- 2、Python requests爬取今日头条，为什么获取不了网页内容
- 3、爬今日头条，各种失败经验，之后成功了
- 4、python主要可以做什么？
- 5、Python的应用前景。
- 6、【Python爬虫】分析网页真实请求
python有哪些就业方向
1、Web开发(Python后端)
Python有很多优秀爬今日头条python的Web开发框架爬今日头条python，如Flask、Django等爬今日头条python，依靠这些框架可以快速帮助我们搭建一个网站，当需要新功能时，Python只需要添加几行代码即可。
比如知乎、豆瓣、小米这样的大厂，早期网站也都是用Python所搭建的，国外更多，如YouTube、Quora、Reddit等顶级流量的网站，也都是依靠Python所搭建的。
2、Python爬虫工程师
顾名思义，就是做爬虫的工程师，用Python收集和爬取互联网的信息，也是小伙伴们学习Python的第一动力，比如一些靠人力一星期才能完成的工作，使用Python爬虫可能半天不到就完事爬今日头条python了，实用性非常高，学会Python爬虫后，就算不做程序员的工作，也能加分不少。
3、Python数据分析师
现如今数据非常宝贝，比如现在火的公司爬今日头条python：今日头条、抖音、快手等，产品也都是建立在用户分析上的，更不用说淘宝、京东这些“定制化推荐”了。
可以说所有的商业公司，都需要这样一名工程师，也导致Python数据分析师成了目前最火的职业之一。
Python是目前数据分析业务中，最常用的语言，学会Python后，基本可以满足数据分析经理的招聘需求。
4、AI工程师
人工智能是目前最火的方向之一，薪资待遇也是非常的高，从招聘网站上就可以看出，当然这些职位的要求也比较高，Python是人工智能时代的第一语言，不管是机器学习还是深度学习，最常用的工具和框架都需要用Python调用，如Numpy、Scipy、Pandas等，因此Python是人工智能工程师的必备技能之一。
5、自动化运维工程师
运维工程师经常要监控上百台机器的运行，或同时部署的情况，使用Python可以自动化批量管理服务器，自动化运维也是Python的主要应用方向之一，它在系统管理、文档管理方面都有很强大的功能。
6、自动化测试工程师
测试的工作室枯燥乏味的，在过去，每次产品更新，都要重复测试一遍，效率低而且非常容易出错，Python提供了很多自动化测试的框架，如Selenium、Pytest等，避免了大量的重复工作，Python自动化测试也越来越流行。
7、Python游戏开发
Python游戏开发集中在游戏服务器领域，主要负责网络游戏的服务器功能开发、性能优化等工作。
Python requests爬取今日头条，为什么获取不了网页内容
感觉并没有什么反爬吧，照着你的写明明可以获取图片呀
也不大可能是requests的版本问题吧，我2.12.4都可以额~
爬今日头条，各种失败经验，之后成功了
最近研究了一下js加密，发现今日头条比较适合练手，在头条获取数据的XHR中request参数有一项_signature参数，这个是就是经过js加密的数据。解决方案在最后。
先说寻找逻辑，叫顺藤摸瓜，藤是params中的key，瓜是js函数，在哪里摸，我用的是chrome F12，全局查找，就是在网址ctrl+f，注意看结果，前面有url这种一般都是在headers之类带着没什么价值，要看出来具体数据的。
然后在preview里，格式化看得清楚，还是查找signature。
这样就成功一大半了。顺便还找到了as和cp
as: e.as,cp: e.cp,
这个e也在前面定义了var e = ascp.getHoney()，然后在搜索getHoney，就找到了。
把这段复制进pycharm的zhu.js文件里，然后新建一个python文件来运行，nodejs直接运行也行。
额，报错了，execjs._exceptions.ProgramError: ReferenceError: md5 is not defined
赶紧查了一下md5是个加密模块， nodejs安装MD5 ，然后改装了改装一下，增加了var md5 = require('md5-node');运行成功。
然后就到了signature， _signature: i，i = TAC.sign("refresh" === t ? 0 : r.params.max_behot_time_tmp))
params.max_behot_time_tmp应该是在回传的数据里的max_behot_time了。
首次请求是0，后来的是根据前一次请求的后传数据继续请求。
不知所云，但还是按照老办法试试看能不能运行。
execjs._exceptions.ProgramError: TypeError: Cannot read property 'userAgent' of undefined。
这回我参考一下 别人怎么办
原来要加useagent，
global.navigator={};
global.navigator.userAgent=
然后变成这样
调用发现又有错误：
好像说的是var data = TAC.sign(0);之前出现了一个不该出现的逗号，把它改成分号，果然成功了，
满怀欣喜的把signature，cp，as找到拼接成url发送，结果并不能返回数据。
有些忧郁的又看看别人怎么办， 用selenium获取参数 ，phantomjs不维护了，听说chrome headless可以替代之， 别人家说这么用 ，chrome还是打开窗口了，后来发现chromedriver.exe版本与chrome有严格的对应关系。 官网这样说
总算是chrome是无头的了，现在只差跟着up主把参数弄出来就行了，因为有了前面的查找，selenium执行的函数名称也很清楚，
signature = brower.execute_script('return TAC.sign(0)')
果然出来一个参数，开心的拼接url发送请求还是没数据回来。。。
忧伤的想了好久，尝试了多次，终于在手机版里发现可以不用cp和as参数，用哪里生成的signature都能拼接出结果，只是max_behot_time是藏在前一页最后一项的信息里
用requests的session或者scrapy都能连续爬取了。不过m站将返回数量20写进了js里，更改params的参数也不能控制一次的爬取量还是很是遗憾。
结果
好像必须带着cookie才能爬取后续的，不然永远都只能爬取第一页的内容，获取cookie用request的session都不行可能只能用selenium获取cookie之后再来。忧伤。。。
python主要可以做什么？
现在互联网发展迅速，众多行业巨头，都已经转投到人工智能领域，而人工智能的首选编程语言就是python，所以学好Python能够从事的工作还是很多的，而且前景非常不错。
学完python可以应用于以下领域：
①Web 和 Internet开发
②科学计算和统计
③人工智能
④桌面界面开发
⑤软件开发
⑥后端开发
⑦网络爬虫
可以从事的岗位也很多，比如Python爬虫工程师，大数据工程师等等！
互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。
想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，能够在校期间取得大专或本科学历，中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的，建议实地考察对比一下。
祝你学有所成，望采纳。
Python的应用前景。
虽然Python的开发效率较高，但是早年的Python的运行速度相对于其他语言要慢一些也是被很多程序员诟病Python的主要原因，但最近几年PyPy解释器在不断的提高着Python的运行速度 ，通过PyPy运行的程序，在某些场景下速度直接逼近C语言，相信再过几年，Python的运行速度将不再是问题。另外，由于近些年CPU处理速度的快速发展，编程语言本身的快慢在大多数业务场景下已不再被做为主要考量(除了对响应速度极为敏感的业务，如搜素)，因此，可以看出Python在追求运行速度快上也是有所考虑的。想学的童鞋可以加企鹅裙前三位是227，中间是435，后三位是450可以 视频资料免费分享交流经验和讲解行情
最后一个就是Python的功能，由于环境机制和语言特性，让Python强大起来是分分钟的事情，只要会配置源，会配置环境，开发就会变得非常简单了，这是导致Python大火的另一个主要原因之一，Python的标准库和第三方库强大到你无法想象，无论你想从事任何方向的技术编程，你几乎都能找到相应的库支持，以下仅举几个栗子：
WEB开发：最火的Python web框架Django, 支持异步高并发的Tornado框架，短小精悍的flask,bottle, Django官方的标语把Django定义为the framework for perfectionist with deadlines(大意是一个为完全主义者开发的高效率web框架)
网络编程：支持高并发的Twisted网络框架， py3引入的asyncio使异步编程变的非常简单
爬虫：爬虫领域，Python几乎是霸主地位，Scrapy\Request\BeautifuSoap\urllib等，想爬啥就爬啥
云计算：目前最火最知名的云计算框架就是OpenStack,Python现在的火，很大一部分就是因为云计算
人工智能：谁会成为AI 和大数据时代的第一开发语言？这本已是一个不需要争论的问题。如果说五年前，Matlab、Scala、R、Java 和 Python还各有机会，局面尚且不清楚，那么五年之后，趋势已经非常明确了，特别是前段时间 Facebook 开源了 PyTorch 之后，Python 作为 AI 时代头牌语言的位置基本确立，未来的悬念仅仅是谁能坐稳第二把交椅。
自动化运维：问问中国的每个运维人员，运维人员必须会的语言是什么？10个人相信会给你一个相同的答案，它的名字叫Python
金融分析：我有个朋友之前在金融行业，10年的时候，他们公司写的好多分析程序、高频交易软件就是用的Python,到目前,Python是金融分析、量化交易领域里用的最多的语言
科学运算：你知道么,97年开始，NASA就在大量使用Python在进行各种复杂的科学运算，随着NumPy, SciPy, Matplotlib, Enthought librarys等众多程序库的开发，使的Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛
游戏开发：在网络游戏开发中Python也有很多应用。相比Lua or C++,Python 比 Lua 有更高阶的抽象能力，可以用更少的代码描述游戏业务逻辑，与 Lua 相比，Python 更适合作为一种 Host 语言，即程序的入口点是在 Python 那一端会比较好，然后用 C/C++ 在非常必要的时候写一些扩展。Python 非常适合编写 1 万行以上的项目，而且能够很好地把网游项目的规模控制在 10 万行代码以内。另外据我所知，知名的游戏文明就是用Python写的。
列举这么多之后，你会发现，Python几乎在上述每个领域都做的非常优秀，这是一门真正意义上的全栈语言，即使目前世界上使用最广泛的Java语言，在很多方面与Python相比也逊色很多！我目前还看不到有哪门语言，能同时在如此多的领域能做出这些成绩。所以，大胆来吧，不会错。
附上一张今年语言排行榜。
最后附Python岗位最新薪资
目前应用最多的：全栈开发、数据分析、运维开发，可以看到，Python工程师的起薪大多数在15K起，3年以上工程师的起薪大多超过20K。
【Python爬虫】分析网页真实请求
1、抓取网页、分析请求
2、解析网页、寻找数据
3、储存数据、多页处理
翻页有规律：
很多网址在第一页时并没有变化，多翻下一页后规律就出来，比如 豆瓣第一页 和 豆瓣第三页
发现start为40，limit=20，所以猜测start=0就是第一页，每页显示20条数据，对于第三页显示的参数可以一个个删除验证，可以减去不必要的参数， 但是删除前一定要做好数据的对比
（1） 文本框输入后产生一个请求，如常见的登录、注册页面
Referer：表示当前请求的来源
Request URL：表示实际请求地址
翻页后URL不变，该如何寻找请求？
如：
通过对比可以发现网站是通过pageIndex参数控制翻页的，？表示连接
接下来用抓包工具分析下 ，从第四页开始看URL就知道了，但是前面几面需要查看请求的参数，这里偏多，就切换到【Inspectors--Webforms】选项，看的比较直观
类似的网站还有 今日头条 ，有兴趣的朋友可以去研究下
（可通过获取max_behot_time的值而改变as和cp）
