互联网广告博客

User-agent:
　　 该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。如果在”robots.txt”文件中，加入”User-agent:SomeBot”和若干Disallow、Allow行，那么名为”SomeBot”只受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。

Disallow:
　　 该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如”Disallow:/SEO”禁止robot访问/SEO.html、/seoabc.html、/seoindex.html，而”Disallow:/seo/”则允许robot访问/seo.html、/seoabc.html，不能访问/seop/index.html。”Disallow: “说明允许robot访问该网站的所有url，在”/robots.txt”文件中，至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow:
　　 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

下面介绍下使用”*”和”$”：
使用统配符和模糊匹配,笔者只了解baidu是支持得使用通配符”*”和”$”来模糊匹配url。

　　 “$” 匹配行结束符。
　　 “*” 匹配0或多个任意字符。
禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

URL匹配举例
Allow或Disallow的值 URL 匹配结果
/tmp /tmp yes
/tmp /tmp.html yes
/tmp /tmp/a.html yes
/tmp/ /tmp no
/tmp/ /tmphoho no
/tmp/ /tmp/a.html yes
/Hello* /Hello.html yes
/He*lo /Hello,lolo yes
/Heap*lo /Hello,lolo no
html$ /tmpa.html yes
/a.html$ /a.html yes
htm$ /a.html no
robots.txt文件用法举例
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”)
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
例3. 仅禁止baiduspider访问您的网站

User-agent: baiduspider
Disallow: /
例4. 仅允许baiduspider访问您的网站

User-agent: baiduspider
Disallow:

User-agent: *
Disallow: /
例5.禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用”*”限制访问url
　　 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm

例8. 使用”$”限制访问url
　　 仅允许访问以”.htm”为后缀的URL。 User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
另外我们这里介绍下robots 一些meta写法.
meta就是写在HTML head 里面的,相对robots.txt来讲功能比他弱多了
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META标签的写法：

Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合：

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞

其中

＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；

＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：

＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞

怎样做到高质量，高PR的外链网站，并发帖给自己网站多些链接，做这项工作应该是长期的，要坚持不懈的去做，找寻的方法是使用谷歌的搜索语句，这样的查询要经常做，找到后，就按照步骤一二三发帖留念，很像“到此一游”的感觉，就是把自己的足迹踏遍那些网站，做10个，有3个成功就非常值得啊

特别说明：一定要关注那些GOV和EDU的网站，因为其权重高，而且PR也高；另外edu有一个好处就是edu的站会给学生开免费的博客空间，注册可能需要学校的邮件地址，你可以通过他们的学校论坛交换或者购买或者租用，这搞地址这方面的东西大家比我牛多了吧

步骤一：在google中输入“inurl:gov/forum/*register” （查找GOV的网站使用的检索语句，记得去掉括号） “inurl:edu*wp-signup.php”（查找EDU的网站检索语句，去掉括号）

步骤二：根据自己的喜好，进行注册

步骤三：发帖“到此一游”

说明：在国外做AFFILIATE上，这个视频，那个秘密之类的，或者鼓吹几分钟把关键词排名最前的方法，其实就是把自己网站的权重搞上去，把自己网站的权重搞上去的方法其实就是上面的几个语句，但你要买这个秘密，就需要掏个199美元，或者299美元之类的。

纵观英文市场和中文市场，我们常常会发现一个普遍的现象——老外喜欢思考，想新方法；中国人只会复制，做体力活。这没有一点崇洋媚外的意思，是事实。

老外做色情站会使用假学术网站骗链接，骗邮箱和链接也使用一些有创意的方法。

首先：搞一个免费的在线工具网站，用户使用这个网站的条件就是提供email；免费的小转换功能比较常见：pdf converter，mp3 converter；一般试下这样的功能的软件是需要收费的，贪便宜是世界人民的共同特点，当然还有一些免费试用的东西，比如iphone的小app。

再:当达到了目标，网站就转型，或卖掉，或者修改为其他的；或者直接转型做对应服务的cps来赚钱。 免费的工具就是容易获得流量和人气，当有了人气，赚钱就是指日可待了。

在过去6年多的时间里，我看到很多人对PR的议论，而其中最多的主张是不要在关心PR，因为PR根本就是没有一点用处，而另外一些少数派却非常乐意看到PR的增长。以下我将揭示谷歌PR,GOOGLE PAGERANK的真实情况和个人的观点：

Pagerank（PR）的算法能否真实的反映网站的权重SERPS?

SERP是什么意思？SERP是search engine results page 的缩写,是当网络搜索者键入关键词后出现的一系列的搜索结果，其中包含了网站的标题，和网站的链接，即URL地址，和一些简单的网站描述信息， SERP可能会以一个结果返回，或是返回非常的多的链接

当然有好事者非要弄懂PR的算法，也可以去查询美国的专利材料，但是相信那些超重的文章会让你放弃这个想法，并且可以肯定的是，基本上没有可能得到你想知道的PR算法。个人经验告诉我，没人知道谷歌的PR算法，除了谷歌自己。

谷歌的PR（Pagerank）多久更新?
回答：Pagerank谷歌的PR每天都更新.

多久谷歌的PR（Pagerank）会更新在谷歌的工具栏，大家能看到?
回答：从历史经验看，是每3个月更新一次.

谷歌的PR (Pagerank)会取消吗？
请记住PR PAGERANK曾经是谷歌很重要的一个部分，自谷歌诞生的时候就开始采用了，为什么要取消呢？至少谷歌不曾有这个想法。

作为站长应该关注谷歌的PR吗？
回答：这个问题的答案有两个，我将解释这个2个答案：

这个问题的答案取决于你拥有什么类型的网站和哪种渠道去赚钱。如果你想通过获得更高的PR吸引高流量，当然PR是非常重要的。例如你可以通过添加链接目录，文章链接，和书签网站等获得高PR；如果你想通过销售链接获得收入，并且是你唯一的目的，那么很显然获得高PR是关键，没有人在购买链接的时候不关心对方的PR，当然也有，比较是少数；如果你是销售网站域名，购买和销售域名，那肯定谷歌的PR是一定要考虑的关键。

那么现在就说说除了这95%的人以外的那部分人，为什么说谷歌的PR没用？每个人都有权利说PR没用，不会给你带来什么好处，所以没用的。但是不管你关注PR还是不关注，PR还是不断的对你的网站进行更新，这也不会占用时间和精力，反而会对你的网站有辅助作用或者是至关重要的作用。

我知道关于PR管不管用的话题还将继续下去，但是不管你是站在哪一方，你都不可否认谷歌PR的用处，而且那些认为PR没用的人，在没有新的令人信服的能替代通过谷歌PR推广网站的策略之前，不要说PR没用。

第一：spider爬行效率
Div+Css的代码精简是table无法比拟的，div+css实现了样式和布局完全分离，前台垃圾代码大量减少，内容更加突出，让蜘蛛在你的网站上快速爬行，短时间内爬完你的网站。

第二：网页打开速度
众所周之：客户是上帝。搜索引擎也不例外，所以搜索引擎会优先抓取客户体验比较好的网站。真正的SEOer不只是为了追求收录、排名，快速的响应速度是提高用户体验度的基础网站。试问：如果你打开一个网站需要一分钟以上，你下次还会来这个网站吗？DIV+CSS布局较Table布局减少了页面代码，加载速度得到很大的提高，这在Spider爬行时是非常有利的。过多的页面代码可能造成爬行超时，Spider就会认为这个页面无法访问，影响收录及权重。
题外：tale布局的页面打开原理：一般table布局的页面是大表格套中表格，中表格嵌套小表格，小表格再套小小表格。一般第一个表格（最外边的）要读取完才能显示出来，读取大表格的同时又要读取大表格中的小表格，大大加长了网页打开速度。

第三：对排名的影响
基于XTHML标准的DIV+CSS布局，一般在设计完成后会尽可能的完善到能通过W3C验证。截止目前没有搜索引擎表示排名规则会倾向于符合 W3C标准的网站或页面，但事实证明使用XTHML架构的网站排名状况一般都不错。这一点或许会有争议，但樂思蜀本人保持这样的观点，有异议者可以拿三组以上基本同等质量的网站对比观察。