编辑“Robots”（章节）

==robots.txt使用误区==
误区一：我网站上所有的文件都需要被蜘蛛抓取，那我就没必要添加robots.txt文件了。反正如果该文件不存在，所有的搜索[[蜘蛛]]将默认能够访问网站上所有没有被口令保护的页面。

每当用户试图访问某个不存在的[[URL]]时，服务器都会在日志中记录404错误文件（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误文件，所以你应该在网站中添加一个robots.txt。

误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。

网站中的脚本程序、样式表等文件即使被[[蜘蛛]]收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件，具体哪些文件需要排除，在robots.txt使用技巧一文中有详细介绍。

误区三：搜索蜘蛛抓取网页太浪费[[服务器]]资源，在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。

如果这样的话，会导致整个网站不能被搜索引擎收录。
说明	输入内容	输出结果
斜体	''斜体文字''	斜体文字
粗体	'''粗体文字'''	粗体文字
粗斜体	'''''粗斜体文字'''''	*粗斜体文字*