辽宁12选5技巧稳赚秘密:什么是robots.txt?它的作用有哪些?

辽宁11选5走势图 www.pd6x.cn 我们优化网站时对于robots.txt文件是必须设置的一个方面。那你知道什么是robots.txt?它的作用有哪些?接下来芜湖老唐SEO为你介绍。

一、robots.txt是什么?

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

二、robots.txt的作用

1、引导搜索引擎蜘蛛抓取指定栏目或内容;

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

3、屏蔽死链接、404错误页面;

4、屏蔽无内容、无价值页面;

5、屏蔽重复页面,如评论页、搜索结果页;

6、屏蔽任何不想被收录的页面;

7、引导蜘蛛抓取网站地图;

以上就是老唐SEO为大家介绍的关于什么是robots.txt?它的作用有哪些,希望对大家有所帮助。

相关文章推荐:robots.txt怎么写?robots.txt的写法教程

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: