首页站长新闻百度spider不支持Crawl-delay设置的通知

百度spider不支持Crawl-delay设置的通知

2012-09-25 119

      尊敬的各位用户,亲爱的站长们,大家好:

      近期,我们收到一些对Crawl-delay用法的询问,现明确百度对网站访问频率不再参考该设置,即不支持Crawl-delay配置,如果您希望配置网站针对百度spider的访问频率,建议您使用百度站长平台的抓取压力反馈工具,先查询网站在百度近一个月的天级抓取量趋势图,可调节百度spider每天访问您网站的抓取压力上限,供百度参考,避免百度spider对站点抓取压力过大,造成网站服务器负载及抓取异常。

      若担心蜘蛛抓取对服务器造成负担,可以通过抓取压力工具来调整抓取频率:http://bbs.zhanzhang.baidu.com/thread-44-1-1.html

  • 广告合作

  • QQ群号:707632017

温馨提示:
1、本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。邮箱:2942802716#qq.com(#改为@)。 2、本站原创内容未经允许不得转裁,转载请注明出处“站长百科”和原文地址。

相关文章