我用xenu这个软件爬了一下我的网站,结果全是这个,能发现的特别少。这个是什么原因吗?

2024-12-13 18:44:00
推荐回答(3个)
回答1:

BAIDU 是自动收录的,不用登录,你搜索的时候只搜索你网站域名看看

回答2:

user skip是因为在Xenu设置里筛选了不查某些链接,那些样式图片资源基本也不用查

回答3:

不知道LZ说的“这个”是什么?LZ先检查下服务器或空间的稳定性,xenu在抓取时占用服务器资源非常大,而且一般情况下不会抓取网站所有页面。

这种情况请确定访问权限及robots是否允许访问