最新消息:

写好Robots让你的网站优化快人一步

SEO实战分享 离岛SEO 330浏览 0评论

导语:对于网站的robots.txt想必不论是老手还是刚接触SEO的人都不会陌生。那么robots.txt对于网站有什么作用呢?首先Robots是一个网站和搜索引擎的第三方协议,早期用于保护隐私的。

网站Robots.txt

而现今robots的主要作用主要是屏蔽一些我们不想被搜索引擎查看收录的页面,在我们网站建设的过程中,难免会出现一些无内容的页面、重复的页面、以及一些死链接和我们不想被搜索引擎抓取的页面,这些页面的收录或多或少都会影响到我们网站的SEO优化。

 

1.那么如何撰写Robots.txt呢?

这里我们首先要知道robots.txt文件是用记事本创建,放置于网站的根目录下方才能生效。

 

2.下面介绍一些常规的语法:

User-agent:是定义搜索引擎爬取程序的(特定搜索引擎),但其后方要结合其他两种语法使用。

Disallow:/ 禁止允许

Allow: /

Allow要和Disallow一起使用。

 

3.主流搜索引擎蜘蛛名称:

百度蜘蛛:Baiduspider  谷歌机器人:Googlebot

那么如果robots.txt文件里没有写内容,那就代表着所有搜索引擎可以来抓取。

如果我们要禁止百度索引我们的网站:

User-agent: Baiduspider

Disallow: /

禁止所有搜索引擎收录我们的网站:

User-agent: *

Disallow: /

 

总结:对于robots.txt只要我们善加利用屏蔽那些我们不想被搜索引擎抓去的页面,或者是那些用户体验差的页面。就能从某些方面助力我们网站的排名。

 

 

转载请注明:【Likeseo】网络营销_网赚项目分享_离岛seo » 写好Robots让你的网站优化快人一步

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址