python爬虫随机使用代理,请求没有成功怎么办

2024-12-01 13:33:53
推荐回答(2个)
回答1:

如果你下面那个可以使用个,你就都加上代理就是了,应该是有的网站限制了爬虫的头部数据。

虽然你可以通过urlopen返回的数据判断,但是不建议做,增加成本。

回答2:

现在市面上已经很多代理软件了,个人感觉那些打着免费的口号的一些“莆田系”代理就不要考虑了,基本上不能用。我用的618Ip代理软件,他们的ip资源还挺多的,基本是满足了我工作上的需求,线路相较于国内其他一些同类软件已经是很好了。