今天通过百度站长工具发现百度蜘蛛在抓取网站的时候出现的404页面：404页面
通过分析发现，网站的链接并没有出现工具指出的404页面链接，然后通过进一步排查，发现是RSS页面的输出问题。在后台我设置了输出RSS时仅显示摘要，而不是全文，因此程序在自动截断的时候将网址截成了不完整的部分。而百度是识别文本链接的，因此就出现的404页面。
404页面本身是不会影响网站权重的，但是出现这种因为系统截断而出现的404错误就是有害的：
1、降低了百度蜘蛛的爬行效率，致使百度蜘蛛爬行过程中爬行一些不存在的404页面
2、降低了百度蜘蛛爬行新网页的机会，当百度蜘蛛发现404页面的时候并不会直接丢弃，而是不定期地重复爬行以确认页面是否不存在，从而将百度蜘蛛爬行的机会浪费在了404页面
3、降低了网站在搜索引擎当中的信任度，如果一个网站经常大量的、经常的出现404错误，无疑会降低在搜索引擎当中的信任度从而影响权重
如何解决这一问题：
1、修改程序，去掉所有链接后再进行截断输出
2、直接全文输出
这个问题很多网站都会出现，希望本文能够引起广大站长的重视!
来源：章亮的博客
-
广告合作
-
QQ群号：707632017
