robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。
robots文件是一个搜索引擎协议，在网站优化中还是有不错的帮助！
屏蔽死链
帮助搜索引擎抓取
可以看看文章的介绍robots文件对于优化的帮助
http://www.chengjv.com/youhua/20171023489.html
ftp默认进去的并不是网站根目录，一般的服务器会有www这个目录，这个目录下存放着所有的网站程序文件，这个才是网站的根目录
或者说将robots.txt文件放在你的网站首页文件同一个目录下，网站首页文件一般是index、default命名的
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024