通过Robots.txt文件实现让搜索引擎索引某个文件或文件夹。
代码：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符。
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
删掉它
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024