1 网站有网站地图 按网站地图抓取 需要在robots.txt里设置
2 没有网站地图 按着站内链接抓取每个页面
搜索引擎可以抓取文字 图片 flash 但是 不能识别图片和flash
搜索引擎是从首页往下抓取，
主要抓取文字和图片。
以前是只抓取静态页面，但是现在的动态页面也能抓取。
按照搜索引擎的抓取，图片要加说明，导航要清晰。一定要删除死链接。因为搜索引擎同时抓取很多网站，一旦你的链接有问题，就很有可能放弃你的站。
一般来说，按照从左上到右下的顺序抓取，可以到网上找个模拟抓取的工具，自己看一下就明白了！
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024