WordPress新站点如何设置网站蜘蛛爬虫禁止收录站点robots.txt
发布于
by
摘要：如何设置让搜索引擎不收录我们的网站，最有效最简单的方式是采用robots.txt，把现有的主流搜索引擎的…
摘要：如何设置让搜索引擎不收录我们的网站，最有效最简单的方式是采用robots.txt，把现有的主流搜索引擎的蜘蛛机器人都屏蔽…
如何设置让搜索引擎不收录我们的网站，最有效最简单的方式是采用robots.txt，把现有的主流搜索引擎的蜘蛛机器人都屏蔽掉，这样就能保障我们的新站不被收录，方法我们进行内容调整和框架布局。以下是一个比较全面的从百度、谷歌、搜狗、雅虎全系列的搜索引擎蜘蛛屏蔽方法，复制以下代码，复制上传到你的网站根目录，大功告成。妈妈再也不用担心我的网站被收录了。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
User–agent: Baiduspider
Disallow: /
User–agent: Googlebot
Disallow: /
User–agent: Googlebot–Mobile
Disallow: /
User–agent: Googlebot–Image
Disallow:/
User–agent: Mediapartners–Google
Disallow: /
User–agent: Adsbot–Google
Disallow: /
User–agent:Feedfetcher–Google
Disallow: /
User–agent: Yahoo! Slurp
Disallow: /
User–agent: Yahoo! Slurp China
Disallow: /
User–agent: Yahoo!–AdCrawler
Disallow: /
User–agent: YoudaoBot
Disallow: /
User–agent: Sosospider
Disallow: /
User–agent: Sogou spider
Disallow: /
User–agent: Sogou web spider
Disallow: /
User–agent: MSNBot
Disallow: /
User–agent: ia_archiver
Disallow: /
User–agent: Tomato Bot
Disallow: /
User–agent: *
Disallow: /
|
类别：WordPress教程、
本文收集自互联网，转载请注明来源。
如有侵权，请联系 wper_net@163.com 删除。
还没有任何评论，赶紧来占个楼吧！