“所有网站皆可爬”，都是人写出来的，框架不变。但是数据爬取的攻防一直都是个话题，你去采集一个小说站和阿里巴巴网站，难度差别很大。另外你即使是个python高手，如果领导给你几百几千个简单网站爬取，你会发现用python写很慢。总结就是你要采集多个网站建议用标准化的一些采集软件。
追问：能否推荐一个这样的采集软件，最好你自己用过的
答：你去用下发源地采集器
原则上，万物皆可爬，像goole，百度这些搜索引擎就是一个大型爬虫，只不过不同的数据需要经过不同的规则去爬取，后面的路还有很长，加油！
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024