WordPress的Robots.txt的写法


robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。这个文件用于指定spider在您网站上的抓取范围,一定程度上保护站点的安全和隐私。同时也是网站优化利器,例如屏蔽捉取站点的重复内容页面。
下面我们就来说说作为wordpress站点,应该如何来写Robots.txt呢,下面是远航整理出来的比较适合wordpress站点使用的写法,注意最后要把sitemap地址换成你自己的就可以了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
User-agent:*
#屏蔽捉取程序文件
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/
#屏蔽捉取内页trackback链接
Disallow:/*/trackback
#屏蔽捉取任意页面的FEED
Disallow:/feed
Disallow:/*/feed
Disallow:/comments/feed
#屏蔽捉取站内搜索结果
Disallow:/?s=*
Disallow:/*/?s=*
#屏蔽捉取短链接
Disallow:/?p=*
#屏蔽捉取留言信息链接
Disallow:/*/comment-page-*
Disallow:/*?replytocom*
#屏蔽捉取图片
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
#其他
Disallow:/date/
Disallow:/author/
Disallow:/page/
Disallow:/*/*/page/
Disallow:/page/1$
Disallow:/?p=*&preview=true
Disallow:/?page_id=*&preview=true
Disallow:/wp-login.php
Disallow:/tag/
Disallow:/tag/*
Disallow:/category/*
Disallow:/category/*/page/*
Disallow:/author/*
Disallow:/author/*/page/*
#主机挂掉的时候显示的主机目录
Disallow:/cgi-sys/
Disallow:/img-sys/
Sitemap: http://wusail.com/sitemap.xml

本文目前:3 条留言  其中,访客:1 条  博主:1 条   引用: 1 条

  1. 写满向外

    你好,文章最后的代码块是怎么实现的?是需要插件吗?

  2. GavinWu

    代码插件,codelolorer!

给我留言