搜索引擎蜘蛛抓取不到网页内容是怎么回事?

2025-02-01 20:56:33
推荐回答(5个)
回答1:

你好,楼主:
蜘蛛可以抓取到网站页面,但是无法抓取到内容,有一下几点原因:
1、网站内容基本都是图片,或者是文字内容在图片里
2、网站使用了frame和iframe框架结构,通过iframe显示的内容可能会被百度丢弃
3、Flash、图片、Javascript,这些都是蜘蛛无法识别的,如果文字内容在里面的话
也是一样无法识别抓取。
因为你的问题是可以抓取到网页,所以这里排除掉,robots和服务器方面的对蜘蛛ip屏蔽的情况

建议你多到SEO十万个为什么里面多去了解下这方面的专业知识。
望采纳,谢谢!!!

回答2:

  1. 首先检查你的robots文件是否允许蜘蛛抓取

  2. 检查网站内容中是否都是FLASH或者java

  3. 检查一个页面使用太多的链接


回答3:

是不是页面做成了图片、FLASH形式,百度蜘蛛不会抓取图片上的内容的,既然网页可以抓取收录,robots应该是没问题的

回答4:

网页是否采用js输出,目前百度蜘蛛是不支持js输出的内容的
还有display设置为none,flash等等原因都会导致百度蜘蛛抓取不到内容

回答5:

网站robots.txt文件书写是否正确
网页内容要有文字,不能用图片来表达意思
网页是否采用js输出,目前百度蜘蛛是不支持js输出的内容的
还有display设置为none,flash等等原因都会导致百度蜘蛛抓取不到内容