登录网站空间后台,找到当天的网站日志
按住“ctrl+F”搜索“baiduspider"爬行记录。
选中其中一个“baiduspider”对应的ip地址
打开电脑cmd窗口。
在CMD窗口中输入“tracert+ip”回车。tracert后面一定要空格之后在输入ip地址
查看是否有“baiduspider”字样,如果有说明是百度的蜘蛛,如果没有则不是
当单一IP的数据流量非常大时,也会引起网站的注意。说到数据流量有些朋友就会有疑问了,下载站的数据流量大也是很正常的。这里说的数据流量不只是单一的下载数据流量,而是大量的并发请求。高并发请求很容易对服务器造成高负荷,所以受到限制也是很正常的。
即便很多站长知道了如何判断百度蜘蛛,仍然会不断地问 “百度蜘蛛 IP 是多少”。我们理解站长的意思,是想将百度蜘蛛所在 IP 加入白名单,只准白名单下 IP 对网站进行抓取,避免被采集等行为。
但我们不建议站长这样做。虽然百度蜘蛛的确有一个 IP 池,真实 IP 在这个 IP 池内切换,但是我们无法保证这个 IP 池整体不会发生变化。所以,我们建议站长勤看日志,发现恶意蜘蛛后放入黑名单,以保证百度的正常抓取。
同时,我们再次强调,通过 IP 来分辨百度蜘蛛的属性是非常可笑的事情,所谓的 “沙盒蜘蛛”“降权蜘蛛” 等等是从来都不存在的。