由于该网站的robots.txt文件存在限制指令

是运营商封堵还是网络管理员限制啊与运营商是否有关....
2024-11-25 15:26:09
推荐回答(3个)
回答1:

其实这是因为搜索引擎用的抓取程序Spider为了保护网站数据隐私而共同遵守一个叫做Robots协议的东东,网站管理者可以通过Robots告诉搜索引擎某些内容不允许其进行收集。。。出现这种情况说明你的搜索引擎室是负责任的搜索引擎,不想某种叫做360的东西从来都不管Robots协议,自己想要搜就会搜索。。。不过也难怪了,连盗取用户文件的事情都能做,还有什么不敢做呢。。。

回答2:

由于该网站的robots.txt文件存在限制指令的解决办法
1.
找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;
2.
下面一步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,主动对搜索引擎示好,快照更新过来之后,现象就会消失了。

回答3:

这个不是你电脑出了问题而是你访问的网站做了限制 不让搜索引擎 收到描述内容 你自己把网址打开就成。