怎样写robots禁止抓取伪静态URL?

2024-12-20 14:01:55
推荐回答(3个)
回答1:

User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接,比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录,包括目录下的文件,比如tmp/232.html

回答2:

disallow:/dianshiju/60/这样 就会只爬行到60 60后的电视分集 就不会爬了

回答3:

额,对这个电影网站的优化不是很了解哦,大家帮忙看看