关于这个问题yyseoer顾问表示：爬行指的是搜索引擎蜘蛛从已知页面上解析出链接偏向的URL，随后顺着链接发觉新页面（也就是说链接偏向的URL）的过程。这样的话，蛛蛛并非发觉新URL马上就爬过去抓取新页面，只是把发觉的URL储放到待抓地址库中，蜘蛛依照必须次序从详细地址库中获取要爬取的URL。
就是有一只蜘蛛在你的网页里爬，爬的是你网页的数据
优化中的蜘蛛爬行，也许是打错字了
