230问答网 > SEO 怎么屏蔽蜘蛛对某个文件夹或者是某个文件进行爬行我要代码

SEO 怎么屏蔽蜘蛛对某个文件夹或者是某个文件进行爬行我要代码

2025-01-25 14:19:37

推荐回答（3个）

回答1：

User-agent: *
Disallow: /admin/
Allow: /require/
ls的意思是说
以根目录为默认的路径，就是开始那点
禁止所有SE访问admin这个文件夹下的内容，将蜘蛛引导向require这个文件夹。
一般的，将你要屏蔽蜘蛛对那个文件夹下在Disallow: 后面就行了，形式如ls所诉

回答2：

1,建立一个文件。robots.txt
在里面写入---------
User-agent: *
Disallow: /admin/
Allow: /require/
----------意思是
所有蜘蛛
禁止爬行admin目录
引导爬行require目录
----明白了么？

回答3：

屏蔽蜘蛛对某个文件夹：
User-agent: *
Disallow: /admin/
屏蔽蜘蛛对某个文件夹下的某个文件
User-agent: *
Disallow: /admin/abc.html

SEO 怎么屏蔽蜘蛛对某个文件夹 或者是某个文件进行爬行 我要代码

SEO 怎么屏蔽蜘蛛对某个文件夹或者是某个文件进行爬行我要代码