四川快乐12前三直遗漏:robots.txt怎么写?robots.txt的写法教程

辽宁11选5走势图 www.pd6x.cn 芜湖老唐SEO的上篇文章什么是robots.txt?它的作用有哪些?介绍了robots.txt的含义,接下来本文要说的就是robots.txt的语法与robots.txt的写法。

一、robots.txt的语法

robots.txt的语法包括三个语法和两个通配符,具体的三个语法如下:

1、User-agent:(定义搜索引擎)

示例:

User-agent: *(定义所有搜索引擎)

User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬?。?/p>

User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬?。?/p>

不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

示例:

Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

Disallow: /admin (禁止蜘蛛爬取admin目录)

Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

Disallow: /help.html (禁止蜘蛛爬去help.html页面)

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

示例:

Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

两个通配符如下:

4、匹配符 “$”

$ 通配符:匹配URL结尾的字符

5、通配符 “*”

* 通配符:匹配0个或多个任意字符

二、robots.txt的写法

1、禁止搜索引擎抓取特定目录

在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

User-agent: *

Disallow: /admin/

Disallow: /tmp/

Disallow: /abc/

2、禁止admin目录,但允许抓取admin目录下的seo子目录

User-agent: *

Allow: /admin/seo/

Disallow: /admin/

3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录)

User-agent: *

Disallow: /abc/*.htm$

4、禁止抓取网站中所有的动态页面

User-agent: *

Disallow: /*?*

屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。

5、禁止百度蜘蛛抓取网站所有的图片:

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告

User-agent: *

Disallow: /folder1/

User-agent: Mediapartners-Google

Allow: /folder1/

请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

三、robots.txt的注意事项

1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

以WEB开发者网站为例:比如通过 //www.admin10000.com/robots.txt 你就可以访问 admin10000.com的robots.txt文件了。

2、robots.txt 文件名命名必须小写,记得在robot面加“s”。

3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

4、路径后面加斜杠“/” 和不加斜杠的是有区别的

Disallow: /help

禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

Disallow: /help/

禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

5、Disallow与Allow行的顺序是有意义的:

举例说明:

允许蜘蛛访问 /admin/ 目录下的seo文件夹

User-agent: *

Allow: /admin/seo/

Disallow: /admin/

如果Allow 和 Disallow 的顺序调换一下:

User-agent: *

Disallow: /admin/

Allow: /admin/seo/

蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。

四、关于Robots Meta

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots Meta 标签中没有大小写之分,name="Robots" 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name="Googlebot", content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。

Index 指令告诉搜索机器人抓取该页面;

NoIndex命令:告诉搜索引擎不允许抓取这个页面

Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

Robots Meta 标签的缺省值是Index和Follow;

根据以上的命令,我们就有了一下的四种组合:

<meta name="robots" content="index,follow"/>

可以抓取本页,而且可以顺着本页继续索引别的链接

<meta name="robots" content="noindex,follow"/>

不许抓取本页,但是可以顺着本页抓取索引别的链接

<neta name="robots" content="index,nofollow"/>

可以抓取本页,但是不许顺着本页抓取索引别的链接

<meta name="robots" content="noindex,nofollow"/>

不许抓取本页,也不许顺着本页抓取索引别的链接。

如果是 <meta name="robots" content="noindex,nofollow"/> 形式的话,可以写成:

<meta name="robots" content="none"/>

如果是 <meta name="robots" content="index,follow"/> 形式的话,可以写成:

<meta name="robots" content="all"/>

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: