Robots是网站与蜘蛛通信的重要渠道。该站点通过Robots文件声明网站不希望被搜索引擎收录，或者指定搜索引擎只收录特定的部分。WordPress网站如何利用robots.txt文件进行SEO优化？

　　当搜索引擎机器人访问该网站时，它将首先在站点的根目录中查找robots.txt文件。如果有此文件，它将根据该文件的内容来确定该文件的范围，如果没有，则默认访问并包括所有页面。

　　了解Robots协议的作用，以下是WordPress网站如何编写robots.txt文件的具体说明：

　　默认情况下，WordPress站点是在浏览器中输入的：http：//您的域名/robots.txt，显示如下内容：

　　User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

　　这是WordPress自动生成的，这意味着搜索引擎被告知不要抓取后台进程文件。

　　User-agent: *

　　Disallow: /wp-admin/

　　Disallow: /wp-content/

　　Disallow: /wp-includes/

　　Disallow: /*/comment-page-*

　　Disallow: /*?replytocom=*

　　Disallow: /category/*/page/

　　Disallow: /tag/*/page/

　　Disallow: /*/trackback

　　Disallow: /feed

　　Disallow: /*/feed

　　Disallow: /comments/feed

　　Disallow: /?s=*

　　Disallow: /*/?s=*

　　Disallow: /*?*

　　Disallow: /attachment/

　　用法：创建一个名为robots.txt文本文件，将上面的内容放入其中，并将其上传到站点的根目录，或者单击下面的命令下载机器人文件并将其上传到站点的根目录。

　　以下是对每个项目的作用的单独解释：

　　1.Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

　　用于告诉搜索引擎不要爬行守护进程文件页。

　　2.Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

　　搜索引擎被禁止爬行相关链接，如评论分页。

　　3.Disallow: /category/*/page/和Disallow: /tag/*/page/

　　搜索引擎禁止爬行包含类别和标签的网页。

　　4.Disallow: /*/trackback

　　禁止搜索引擎抓取类似trackback之类的垃圾信息

　　5.Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

　　禁止搜索引擎爬行以包含提要链接。提要仅用于订阅此站点，而不考虑搜索引擎。

　　6.Disallow: /?s=*和Disallow: /*/?s=*

　　禁止搜索引擎在车站爬行搜索结果

　　7.Disallow: /*?*

　　不要搜索和爬行动态页面

　　8.Disallow: /attachment/

　　禁止搜索引擎爬行附件页，如无意义的图片附件页。

　　上面只是一些基本的写作，当然还有很多，我们可以根据自己的需要修改，修改并上传到站点的根目录，我们也可以使用百度搜索资源平台Robots工具来创建、验证、更新robots.txt文件，或者查看站点robots.txt文件在百度中的有效性。