如何不让蜘蛛抓取网站的某个文件

2025-01-01 01:14:30
推荐回答(2个)
回答1:

不能某个文件,只能某个目录;如:User-agent: *
Disallow: /01/
所以你要禁止某个文件,可以将此文件单独放到一个目录下面即可.

回答2:

应该只能做目录级的防爬