你好,楼主:
蜘蛛可以抓取到网站页面,但是无法抓取到内容,有一下几点原因:
1、网站内容基本都是图片,或者是文字内容在图片里
2、网站使用了frame和iframe框架结构,通过iframe显示的内容可能会被百度丢弃
3、Flash、图片、Javascript,这些都是蜘蛛无法识别的,如果文字内容在里面的话
也是一样无法识别抓取。
因为你的问题是可以抓取到网页,所以这里排除掉,robots和服务器方面的对蜘蛛ip屏蔽的情况
建议你多到SEO十万个为什么里面多去了解下这方面的专业知识。
望采纳,谢谢!!!
首先检查你的robots文件是否允许蜘蛛抓取
检查网站内容中是否都是FLASH或者java
检查一个页面使用太多的链接
是不是页面做成了图片、FLASH形式,百度蜘蛛不会抓取图片上的内容的,既然网页可以抓取收录,robots应该是没问题的
网页是否采用js输出,目前百度蜘蛛是不支持js输出的内容的
还有display设置为none,flash等等原因都会导致百度蜘蛛抓取不到内容
网站robots.txt文件书写是否正确
网页内容要有文字,不能用图片来表达意思
网页是否采用js输出,目前百度蜘蛛是不支持js输出的内容的
还有display设置为none,flash等等原因都会导致百度蜘蛛抓取不到内容