我们都知道蜘蛛抓取的内容只读文字，像图片、代码css、js、都是不读取的，蜘蛛是通过链接来前进的。如果蜘蛛抓取了一堆代码还没有新的链接，那么就会把它当做404了，这是就想到了robots的好处了，你可以找到这些404的“页面”如果是一些代码、或者是功能性的文件，那你就可以用robots屏蔽啦，如果是真的404页面，你就要手动去修改啦。修改好后也可以做一下404页面优化。
用robots屏蔽该目录试一下看看/soun/
