1、链接编码是Javascript，因为这被称为“蜘蛛陷阱”，爬行站点的时候，蜘蛛会自动屏蔽爬行这些链接；
2、链接被标记为robots.txt的 “禁止指令；
3、孤立的链接；
4、链接所在的页面是一个包含链nofollow指令的页面；
5、本来是要抓取的链接，但是因为服务器不稳定的原因无法进行抓取。
因此，爬行和索引虽然表示的都是蜘蛛抓取站点，但他们所包含的方向是不一样的，这里长沙网络营销奇谋天下建议注意区分开。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024