什么是 robots.txt

robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的爬虫（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎索引的，哪些是可以被索引的。

为什么要使用 robots.txt

可能很多人都巴不得搜索引擎收录越多越好，为什么我们还禁止搜索引擎收录我们某些内容呢？

• 第一是防止 Spider 去访问一些无关的页面，造成服务器的压力。
• 第二可以防止搜索引擎索引一些重复的页面，使网站的权重更加集中，提高网站的排名。

WordPress 博客怎么使用 robots.txt

下面这个是目前我爱水煮鱼博客使用的 robots.txt 文件：

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

简单说下，它只列了禁止访问的目录：

• /cgi-bin/：这个是服务器的 cgi 目录，所以肯定不能索引。
• /wp-admin/： WordPress 后台目录，无需索引。
• /wp-includes/：WordPress 程序运行的一些必须库，都无需索引。
• /wp-content/ 目录下的 /plugins/（插件），/themes/（主题）和 /cache/（缓存）都不应该索引的。
• /wp-content/ 目录下剩下主要的是 /uploads/ 目录是存放图片和附件，是应该让搜索引擎，特别是图片搜索引擎索引。剩下你自定义的一些目录，就看你自己需求来设置是否让搜索引擎索引。
• /author/ 是某个作者的所有文章列表，基本都是重复内容了，所以也不让索引。
• /trackback/ 和 */trackback/，trackback 目录和原来的文字基本一样，完全的重复内容。
• /feed/ 和 */feed/，Feed 中也是重复内容。
• /comments/ 和 */comments/，留言页面也是重复内容。

你可以自己根据网站的特点定制修改这个文件的内容，然后保存为 robots.txt，然后上传到网站的根目录下。

如果你无法上传，也可以通过 WPJAM Basic 插件下的的简单 SEO 扩展中的 robots.txt 选项中去设置。