学习使用python写爬虫

没有万能的爬虫，随着爬虫的技术普及，反爬虫技术也越来越成熟，所以你这个问题其实没有答案

没有万能爬虫。例如大规模数据爬虫，需要考虑很多。首先，分布式的架构和使用，设计集群方案，使用代理池，多台服务器并行多线程多进程爬数据，分库存放数据。绕过验证码认证，例如 12306 的 王珞丹和白百何照片验证、斗鱼空间推理验证、小米的语序验证、腾讯的 VTT 动态语义验证这种 3D 渲染随机产生，保证图片不会重复的情况，要使用图像处理、机器学习等才能解决。解析数据，一些不规范的网站需要自行编写解析模板；JS 混淆加密的解密，CSS 偏移自定义字体文本混淆等。

如果你认为爬虫就是简单爬一个豆瓣 Top250 这种只是构造发送请求然后解析响应最后存储数据的，那确实简单。任何一门技术不存在简单与困难，取决于你研究的深度。

爬虫与反爬永远都会相伴，没有万能的爬虫，同理也没有万能的反爬。都是在不断的博弈中改变，只有自身变得万能，才能写出万能的爬虫吧

道高一尺，魔高一丈。

感谢分享