Gallery:如何使得robot不出现在CPU intensive page中

类似幻灯片的页面是非常CPU intensive的。对于索引机器人它们仍是毫无用处的，因为它们所提供的信息是冗余的。因此管理者毫无疑问地要阻止机器人访问此类页面。

使用URL重写模块，缺省的幻灯片URL形式为："/v/my_album/my_sub_album/my_photo.jpg/slideshow.html"。问题是无法在robots.txt的语法中排除此类URL。因此为了能够使得URL可被排除，URL重写是有必要的。

没有必要刻意地直接地在意mod_rewrite，因为精妙的重写模块会自己处理细枝末节的。"View Slideshow"的默认重写目标是"v/%path%/slideshow.html"。幻灯片不变的URL标识（"/slideshow.html"）位于变量路径（"%path%"）的右侧，这就是为和我们无法在robots.txt语法中表达幻灯片禁止的原因了。修改此次序将为我们带来可被排除的URL。

因此将"View Slideshow"的重写目标由"v/%path%/slideshow.html"修改为"v/slideshow/%path%"。

接着在你的robots.txt中添加进"Disallow: /v/slideshow/"。如果你使用URL重写墨客的PATH_INFO模式的话，那么就应当是"Disallow: /main.php/v/slideshow/"。

这就好了：不会再有蜘蛛来将你珍贵的资源“吸食一空”了！