Baiduspider 这个是百度蜘蛛。Googlebot 这个是google机器人。你可以看下自己网站的日志。有没有baiduspider或者googlebot的痕迹。如果有,就代表它来过你的网站。这是一些日志状态码。200 成功300 重定向400 访问错误
看日志里面那些页面被爬过 返回值是正常的 就基本上差不多了
呵呵,好像要插件的吧,我有哦,徐老师编写的,需要的密我哦,记得要加分哦
把日志打开搜索baiduspider,相应的记录就是百度蜘蛛的