网站robots

正规的搜索引擎，都会遵守robots.txt里面编写的规则，像百度、谷歌这些，在抓取网站之前，都会先识别robots.txt里面的规则。

如果不让抓取的网页，蜘蛛就会跳过，所以在做网站seo的时候，robots.txt必须要仔细检查。

如果拿不准，最好去站长工具里面，检测一下，百度、谷歌站长平台，都有相关的功能，检测网页是否能够被蜘蛛抓取。

如果不知道怎么写，可以直接参考百度的robots：https://www.baidu.com/robots.txt

从百度的robots.txt就可以看出，如果需要规定某一种搜索引擎的抓取规则，则写User-agent: 蜘蛛名称，如果User-agent: Baiduspider。

如果要所有的搜索引擎，都遵循的规则，则写User-agent: *。

如果要禁止抓取的规则，则是Disallow: url

如果允许抓取的规则，则是Allow:url

值得注意的是，规则写url，是不带域名的，而且只要是编写url开头的所有网页都会生效，比如disallow:/，就是禁止抓取网站所有的网页了。

这里，我给的建议是，如果没有特别不需要禁止抓取的网页，可以像我这样，直接规定所有搜索引擎，允许抓取所有网页即可。

User-agent: *
Allow:/

编辑:

阅读量:34

url链接:https://www.qozr.com/cms_wang-zhan-robots.html

Tag标签: robots