导语：对于网站的robots.txt想必不论是老手还是刚接触SEO的人都不会陌生。那么robots.txt对于网站有什么作用呢？首先Robots是一个网站和搜索引擎的第三方协议，早期用于保护隐私的。
而现今robots的主要作用主要是屏蔽一些我们不想被搜索引擎查看收录的页面，在我们网站建设的过程中，难免会出现一些无内容的页面、重复的页面、以及一些死链接和我们不想被搜索引擎抓取的页面，这些页面的收录或多或少都会影响到我们网站的SEO优化。
1.那么如何撰写Robots.txt呢？
这里我们首先要知道robots.txt文件是用记事本创建，放置于网站的根目录下方才能生效。
2.下面介绍一些常规的语法：
User-agent：是定义搜索引擎爬取程序的（特定搜索引擎），但其后方要结合其他两种语法使用。
Disallow:/ 禁止允许
Allow: /
Allow要和Disallow一起使用。
3.主流搜索引擎蜘蛛名称：
百度蜘蛛：Baiduspider 谷歌机器人：Googlebot
那么如果robots.txt文件里没有写内容，那就代表着所有搜索引擎可以来抓取。
如果我们要禁止百度索引我们的网站：
User-agent: Baiduspider
Disallow: /
禁止所有搜索引擎收录我们的网站：
User-agent: *
Disallow: /
总结：对于robots.txt只要我们善加利用屏蔽那些我们不想被搜索引擎抓去的页面，或者是那些用户体验差的页面。就能从某些方面助力我们网站的排名。