可以的。百度那个如果你提交了，这个提交也是可以的。
在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024