robots怎么写？robots禁止收录写法，详细说明

新手朋友不太清楚robots怎样写不会错，robots这对网站的优化非常重要。今天小编就给大家简单解释一下robots的正确写法。(以下内容以实用易懂为目的描述)

这里小编先写几种常用的，以后再说每一句话的意思:

禁止所有搜索引擎抓取：User-agent: *Disallow: /禁止百度蜘蛛抓取：User-agent: baiduspiderDisallow: /允许百度抓取，禁止谷歌抓:User-agent: *Allow: /User-agent: baiduspiderAllow: /User-agent: GooglebotDisallow: /

聪明的朋友可能已经看到了如何写了robots了。不明白不着急，请看下面

robots一行或多行User-agent一开始，跟上多个Disallow和Allow行，参照上述案例

User-agent: 后面是搜索引擎机器人的名字

Disallow: (不能被抓)

Allow: (可以被抓取)

注：robots所有属性后面都要加 一个空格。例如：Allow: xxx，冒号后面一定有空格(半角下的空格)

以下是百度蜘蛛的通配符：Baiduspider支持使用通配符"*"和"$"来模糊匹配url。例如：Allow: xxx，冒号后面一定有空格(半角下的空格)

以下是百度蜘蛛的通配符：Baiduspider支持使用通配符"*"和"$"来模糊匹配url。"$" 匹配行结束符。"*" 匹配0或多个任意字符。

附上我的网站robots，我用的织梦:

User-agent: *Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templetsDisallow: /index.phpDisallow: /memberDisallow: /plus/vote

注：写robots严格按照规则写，不然写出来的是无效的

。
写完之后可以去百度站长平台robots更新，检查robots书写是否正确

。写完之后可以去百度站长平台robots更新，检查robots书写是否正确

。另外robots还可以添加网站地图sitemap，有些人认为这是不安全的，很容易得到网站的链接。我觉得真正想收集网站文章的人，不知道网站地图能不能阻挡。所以robots中大可以申请网站地图的链接。