百度的蜘蛛名叫BaiduspiderGOOGLE的蜘蛛名叫googlebotYAHOO的蜘蛛名叫 Yahoo!+Slurp+China
现在网络上有很多查询爬行记录的工具，不过大部分都是不大可靠的，最简单的方法就是查看快照的日期可以知道蜘蛛爬行的情况。
查看FTP代码里面的日志文件 有roobts这个关键词的一般都是蜘蛛痕迹
