Disallow:
　　 该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如”Disallow:/SEO”禁止robot访问/SEO.html、/seoabc.html、/seoindex.html，而”Disallow:/seo/”则允许robot访问/seo.html、/seoabc.html，不能访问/seop/index.html。”Disallow: “说明允许robot访问该网站的所有url，在”/robots.txt”文件中，至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow:
　　 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

下面介绍下使用”*”和”$”：
使用统配符和模糊匹配,笔者只了解baidu是支持得使用通配符”*”和”$”来模糊匹配url。

　　 “$” 匹配行结束符。
　　 “*” 匹配0或多个任意字符。
禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

URL匹配举例
Allow或Disallow的值 URL 匹配结果
/tmp /tmp yes
/tmp /tmp.html yes
/tmp /tmp/a.html yes
/tmp/ /tmp no
/tmp/ /tmphoho no
/tmp/ /tmp/a.html yes
/Hello* /Hello.html yes
/He*lo /Hello,lolo yes
/Heap*lo /Hello,lolo no
html$ /tmpa.html yes
/a.html$ /a.html yes
htm$ /a.html no
robots.txt文件用法举例
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”)
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
例3. 仅禁止baiduspider访问您的网站

User-agent: baiduspider
Disallow: /
例4. 仅允许baiduspider访问您的网站

User-agent: baiduspider
Disallow:

User-agent: *
Disallow: /
例5.禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用”*”限制访问url
　　 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm

例8. 使用”$”限制访问url
　　 仅允许访问以”.htm”为后缀的URL。 User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
另外我们这里介绍下robots 一些meta写法.
meta就是写在HTML head 里面的,相对robots.txt来讲功能比他弱多了
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META标签的写法：

Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合：

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞

其中

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：

＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞

相关日志

• 网站Tags标签的优化 (4)
• 一些免费提交英文网站目录 (4)
• 英文站运营经验小谈 – 写给打算做英文站却又不知道如何入手的朋友 (7)
• 获得外链和收集email的好办法 (11)
• SEO中的长尾理论致胜策略 (3)
• SEO是一个长期多方面的过程 (2)
• 一个简单的方法，解决外链这个问题 (9)
• 有条件的免费咨询服务： (3)
• 百度隐藏部分搜索结果意味着什么 (11)
• SEO最新技术:链轮策略 (6)

特别说明：一定要关注那些GOV和EDU的网站，因为其权重高，而且PR也高；另外edu有一个好处就是edu的站会给学生开免费的博客空间，注册可能需要学校的邮件地址，你可以通过他们的学校论坛交换或者购买或者租用，这搞地址这方面的东西大家比我牛多了吧

步骤一：在google中输入“inurl:gov/forum/*register” （查找GOV的网站使用的检索语句，记得去掉括号） “inurl:edu*wp-signup.php”（查找EDU的网站检索语句，去掉括号）

步骤二：根据自己的喜好，进行注册

步骤三：发帖“到此一游”

说明：在国外做AFFILIATE上，这个视频，那个秘密之类的，或者鼓吹几分钟把关键词排名最前的方法，其实就是把自己网站的权重搞上去，把自己网站的权重搞上去的方法其实就是上面的几个语句，但你要买这个秘密，就需要掏个199美元，或者299美元之类的。

相关日志

• 网站Tags标签的优化 (4)
• SEO最新技术:链轮策略 (6)
• 一些免费提交英文网站目录 (4)
• 谷歌的PR对推广网站有用吗 (6)
• 静水流深2010年版系列教程:100元我教你赚取100万之五 (1)
• SEO中的长尾理论致胜策略 (3)
• SEO是一个长期多方面的过程 (2)
• 关于301重定向的一些个人观点 (10)
• 中文版WORDPRESS链接英文化 (4)
• 二十个博客SEO优化技巧 (3)

老外做色情站会使用假学术网站骗链接，骗邮箱和链接也使用一些有创意的方法。

首先：搞一个免费的在线工具网站，用户使用这个网站的条件就是提供email；免费的小转换功能比较常见：pdf converter，mp3 converter；一般试下这样的功能的软件是需要收费的，贪便宜是世界人民的共同特点，当然还有一些免费试用的东西，比如iphone的小app。

再:当达到了目标，网站就转型，或卖掉，或者修改为其他的；或者直接转型做对应服务的cps来赚钱。 免费的工具就是容易获得流量和人气，当有了人气，赚钱就是指日可待了。

相关日志

• 关于301重定向的一些个人观点 (10)
• 英文站运营经验小谈 – 写给打算做英文站却又不知道如何入手的朋友 (7)
• 中文版WORDPRESS链接英文化 (4)
• 有条件的免费咨询服务： (3)
• 二十个博客SEO优化技巧 (3)
• SEO是一个长期多方面的过程 (2)
• 一些免费提交英文网站目录 (4)
• 如何找高质量的外链 (18)
• SEO中的长尾理论致胜策略 (3)
• 百度隐藏部分搜索结果意味着什么 (11)

Pagerank（PR）的算法能否真实的反映网站的权重SERPS?

SERP是什么意思？SERP是search engine results page 的缩写,是当网络搜索者键入关键词后出现的一系列的搜索结果，其中包含了网站的标题，和网站的链接，即URL地址，和一些简单的网站描述信息， SERP可能会以一个结果返回，或是返回非常的多的链接

当然有好事者非要弄懂PR的算法，也可以去查询美国的专利材料，但是相信那些超重的文章会让你放弃这个想法，并且可以肯定的是，基本上没有可能得到你想知道的PR算法。个人经验告诉我，没人知道谷歌的PR算法，除了谷歌自己。

谷歌的PR（Pagerank）多久更新?
回答：Pagerank谷歌的PR每天都更新.

多久谷歌的PR（Pagerank）会更新在谷歌的工具栏，大家能看到?
回答：从历史经验看，是每3个月更新一次.

谷歌的PR (Pagerank)会取消吗？
请记住PR PAGERANK曾经是谷歌很重要的一个部分，自谷歌诞生的时候就开始采用了，为什么要取消呢？至少谷歌不曾有这个想法。

作为站长应该关注谷歌的PR吗？
回答：这个问题的答案有两个，我将解释这个2个答案：

这个问题的答案取决于你拥有什么类型的网站和哪种渠道去赚钱。如果你想通过获得更高的PR吸引高流量，当然PR是非常重要的。例如你可以通过添加链接目录，文章链接，和书签网站等获得高PR；如果你想通过销售链接获得收入，并且是你唯一的目的，那么很显然获得高PR是关键，没有人在购买链接的时候不关心对方的PR，当然也有，比较是少数；如果你是销售网站域名，购买和销售域名，那肯定谷歌的PR是一定要考虑的关键。

那么现在就说说除了这95%的人以外的那部分人，为什么说谷歌的PR没用？每个人都有权利说PR没用，不会给你带来什么好处，所以没用的。但是不管你关注PR还是不关注，PR还是不断的对你的网站进行更新，这也不会占用时间和精力，反而会对你的网站有辅助作用或者是至关重要的作用。

我知道关于PR管不管用的话题还将继续下去，但是不管你是站在哪一方，你都不可否认谷歌PR的用处，而且那些认为PR没用的人，在没有新的令人信服的能替代通过谷歌PR推广网站的策略之前，不要说PR没用。

相关日志

• 二十个博客SEO优化技巧 (3)
• 中文版WORDPRESS链接英文化 (4)
• 分享五个Google的少见的查询方法 (3)
• 百度隐藏部分搜索结果意味着什么 (11)
• SEO最新技术:链轮策略 (6)
• 关于301重定向的一些个人观点 (10)
• 如何让搜索引擎快照能够更频繁的更新你的网站 (5)
• SEO是一个长期多方面的过程 (2)
• SEO中的长尾理论致胜策略 (3)
• 网站Tags标签的优化 (4)

第二：网页打开速度
众所周之：客户是上帝。搜索引擎也不例外，所以搜索引擎会优先抓取客户体验比较好的网站。真正的SEOer不只是为了追求收录、排名，快速的响应速度是提高用户体验度的基础网站。试问：如果你打开一个网站需要一分钟以上，你下次还会来这个网站吗？DIV+CSS布局较Table布局减少了页面代码，加载速度得到很大的提高，这在Spider爬行时是非常有利的。过多的页面代码可能造成爬行超时，Spider就会认为这个页面无法访问，影响收录及权重。
题外：tale布局的页面打开原理：一般table布局的页面是大表格套中表格，中表格嵌套小表格，小表格再套小小表格。一般第一个表格（最外边的）要读取完才能显示出来，读取大表格的同时又要读取大表格中的小表格，大大加长了网页打开速度。

第三：对排名的影响
基于XTHML标准的DIV+CSS布局，一般在设计完成后会尽可能的完善到能通过W3C验证。截止目前没有搜索引擎表示排名规则会倾向于符合 W3C标准的网站或页面，但事实证明使用XTHML架构的网站排名状况一般都不错。这一点或许会有争议，但樂思蜀本人保持这样的观点，有异议者可以拿三组以上基本同等质量的网站对比观察。

相关日志

• 推荐一些给大家做中文站比较有权重的博客资源 (7)
• 谷歌的PR对推广网站有用吗 (6)
• 关于一些访问者的疑问这里统一解答一下： (5)
• 中文版WORDPRESS链接英文化 (4)
• SEO中的长尾理论致胜策略 (3)
• 如何找高质量的外链 (18)
• 关于301重定向的一些个人观点 (10)
• 获得外链和收集email的好办法 (11)
• 静水流深2010年版系列教程:100元我教你赚取100万之五 (1)
• robot.txt的规则以及写法 (9)

　　二、天涯博客，此博客位高权重，google对其非常信任，其天涯的问答属实效果也是上佳。

　　三、网易博客，笔者一直对网易非常感兴趣，因为笔者的很多博客外链第一时间通过网易被收录非常多。

　　四、新浪博客，大家都知道，bd比较喜欢新浪的价值，所以这个博客不能松懈。

　　五、搜狐博客，说实话笔者本来打算放弃搜狐博客，不过前段时间搜狐博客愿意接受了蜘蛛抓取，现在效果还是非常好的。

　　六、凤凰博客，这个博客外链资源还是非常有价值的，不过管理比较严，不可过度广告外链。

　　七、windows live，新站被google收录，非他莫属。笔者的新站好几天没收录，被他一刺激，2个小时收录。

　　八、和讯博客，此博客当初也是帮了我不少忙，其他博客不被收录，和讯替我出来不少力。

　　九、网商博客，就是阿里巴巴博客，这个博客超级亲google，你的文章被google抓取的时间超级快，一般都是几分钟。

　　十、中金在线，这个博客是金融类的，你的文章出色的话，google咨询等着你，就这么牛。笔者的文章曾就从这里产生了google咨询，排名噌的上来好多。

相关日志

• 一个简单的方法，解决外链这个问题 (9)
• 如何找高质量的外链 (18)
• SEO是一个长期多方面的过程 (2)
• 百度隐藏部分搜索结果意味着什么 (11)
• 关于301重定向的一些个人观点 (10)
• 网站Tags标签的优化 (4)
• 如何让搜索引擎快照能够更频繁的更新你的网站 (5)
• SEO中的长尾理论致胜策略 (3)
• 中文版WORDPRESS链接英文化 (4)
• 英文站运营经验小谈 – 写给打算做英文站却又不知道如何入手的朋友 (7)

WP-ROBOT这个插件，在cnwebmasters.com 有下载的，自己去寻找。

然后，用WP Keyword Link这个插件，为你要SEO的网站制作外链。

说得再详细一点，你的博客的选取的文章的关键字，要尽量包含你的网站的，同时所有的关键字链接，都指向你的网站。

如果你再细心一点，可以做出交叉连接，以及多使用长尾关键字，会让你的黑帽SEO看起来更真实。

同时，如果你有一个高权重的域名，可以去安装一个 wordpress MU，这样用站群来SEO，你的效果会更好。

另外Wordperss本身站点提供的博客服务我不知道是否支持WP-ROBOT以及WP Keyword Link插件安装，如果可以，也是很好的选择，我多数时候都是自己有专业的做SEO的自动博客。

这个方法的好处就是效果没纯黑帽那样明显，但是安全性很高。

相关日志

• 三个建立高权重反向链接的好方法 (4)
• 关于一些访问者的疑问这里统一解答一下： (5)
• 获得外链和收集email的好办法 (11)
• 中文版WORDPRESS链接英文化 (4)
• 有条件的免费咨询服务： (3)
• 谷歌的PR对推广网站有用吗 (6)
• 如何让搜索引擎快照能够更频繁的更新你的网站 (5)
• 百度隐藏部分搜索结果意味着什么 (11)
• SEO是一个长期多方面的过程 (2)
• Div+Css对SEO的影响分析 (6)

但是，本博客换域名的事情，大家也都知道，之前5766.cn是PR4，现在这个博客也PR4了，我倒真没用过301重定向。

301重定向我查询了有关相关资料，我发现其实并不能把你之前的SEO历史保留，其实这里所谓的SEO，我个人觉得，不管你做什么网站也好，只要不是单页面的那种LANDING PAGE，主要精力都不要放在SEO上面去。

如果大家需要网站换域名，其实就直接转发过去就可以了，再就是把之前做的友情链接更新下，内容还是保持更新，PR值一般不会有什么改变。

这里只是个人观点，不代表全局性，只是想告诉大家，所谓的SEO，还不如真正的做好内容跟外链。

相关日志

• 中文版WORDPRESS链接英文化 (4)
• 三个建立高权重反向链接的好方法 (4)
• 网站Tags标签的优化 (4)
• robot.txt的规则以及写法 (9)
• 推荐一些给大家做中文站比较有权重的博客资源 (7)
• 谷歌的PR对推广网站有用吗 (6)
• 如何让搜索引擎快照能够更频繁的更新你的网站 (5)
• SEO最新技术:链轮策略 (6)
• 英文站运营经验小谈 – 写给打算做英文站却又不知道如何入手的朋友 (7)
• 如何找高质量的外链 (18)

第一、一般我们的站点想被别人搜到，需要通过百度或者GOOGLE等搜索引擎。这就需要我们建站后先将网址提交上去。

第二、内容丰富才能引人注意，最后能有原创的内容。如果从同类网站中复制，记得更换一下标题。想了解访问量、访问来路和访客常用的关键字，则需要装一个统计。

第三、加工优化你的网站关键字。
我们都想让自己的网站显示在百度或GOOGLE的前几页，因此必须设置好关键字。多重复几次标题title关键字，网站关键字keywords字符不可过多，一般不超过100，描述desciption一般不超过  200个字符，也需要设置一两个主要关键字。

第四、不管是不是原创，网站必须每天更新。

第五、我们知道新站很少有人愿意跟我们做外链，但是我们可以自己去别处发布自己的网站。比如到一些大的博客，新浪、搜狐、天涯等博客，还可通过论坛个性签名，到各大站长论坛发布。方法有很多，只要努力想办法。

第六、网站地图这个东东有利于大家通过搜索引擎搜到你的网站，一定要利用起来。当然也有一些是百度的“雷区”，如那些没什么内容的，光是图片动画的网站。还有些是死链接，可通过一些站点在线查询该网址进行查询。

相关日志

• 静水流深2010年版系列教程:100元我教你赚取100万之五 (1)
• 英文站运营经验小谈 – 写给打算做英文站却又不知道如何入手的朋友 (7)
• 谷歌的PR对推广网站有用吗 (6)
• 获得外链和收集email的好办法 (11)
• 中文版WORDPRESS链接英文化 (4)
• 二十个博客SEO优化技巧 (3)
• SEO是一个长期多方面的过程 (2)
• 推荐一些给大家做中文站比较有权重的博客资源 (7)
• 关于一些访问者的疑问这里统一解答一下： (5)
• SEO中的长尾理论致胜策略 (3)

这只是一点方法和思维方式，要做好必需从规律中实践找到更好的结合方式.

具体在做的时候可以这样：

1）写一篇文章，标题中至少包含一次关键词

2）原创文章的内容（可以计划性的多出现几次关键词），在这里注意：在百度没有收录之前不要挂上广告链接，这样很有可能影响收录的速度（或不被收录）。

3）等待文章收录。

4）用三天的时间去做一些外链接。记得不要直接以地址的形式，而应该尽量采用锚文本形式的链接。

5）排名上来了，可以挂上广告了（这可能需要一定的时间哦）

当有人搜索这个关键词的时候，进入了你的博客文章，理所当然的就成了你的客户了。。。那么很有可能他将为您带来收入哦。。

千万别小看了这些微不足道的关键词哦，如果你的博客拥有100个百度指数为200左右的关键词排名，那么你的博客为您带来的收入绝对不会少……

这就是SEO中的长尾理论策略，依靠许多竞争性特别小的关键词来提高博客或网站的流量。

相关日志

• 二十个博客SEO优化技巧 (3)
• 百度隐藏部分搜索结果意味着什么 (11)
• 关于301重定向的一些个人观点 (10)
• SEO最新技术:链轮策略 (6)
• 一些免费提交英文网站目录 (4)
• 三个建立高权重反向链接的好方法 (4)
• 如何让搜索引擎快照能够更频繁的更新你的网站 (5)
• 中文版WORDPRESS链接英文化 (4)
• 有条件的免费咨询服务： (3)
• 网站Tags标签的优化 (4)