二种方式，第一种目录抓取，如下图，首先蜘蛛会抓取第一层也就是网站根目录下的所有文件夹，然后在抓取文件里的文件夹，想像一下，如果文件夹深度几百，几千层，或者是无限深，蜘蛛是很难达到的，根本就抓不到的，
第二个，以链接进行抓以，不管通过外部链接也好，到达你网站的页面，如首页，如下图的域名，这个时候蜘蛛会跟着面里面的链接，html代码中的网址，从上到下进行抓取，然后又会跟着那个链接继续向下一个页面进行抓取
总结，为了能够更好的抓取，蜘蛛是结合二种方式来的，所以在《百度搜索引擎优化指南2.0》《谷歌搜索引擎优化初学者指南》都有对结构的说明，你是用树形式的，还是扁平的二种方式
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024