豆腐西施黑帽seo欢迎你!

微信:a654321AD QQ:2040768308

当前位置: 首页 > seo网站优化

利用[robots.txt]写作技巧吸引蜘蛛

时间:2022-08-04人气:作者: 佚名

熟悉,网站优化robots.txt学过基础文件seo作为蜘蛛抓取的第一份文件,如果我们对这些写作技巧了解不够,写法不够明确,就像是原本还好好天气,一下就阴转多云,会使我们很尴尬,这个robots.txt文档优化我们网站的效果不仅是允许或不允许蜘蛛抓取链接和文件夹,so相信都知道该如何去写,但我们也得注意技巧的使用。

一:robots的文件大小

作为蜘蛛首先阅读的文件,网站根目录需要控制文件的大小。大家都知道蜘蛛爬网站喜欢的不是代码。没什么,但是你可以再读一遍robot里面写着一大串各种各样的东西noffollow标签阻碍了蜘蛛的爬行速度,相反,它也会影响蜘蛛抓取你网站的爬行速度,所以我们禁止它noffollow尽量合理使用。

二:robots中Disallow和Allow先后顺序

robots.txt中Disallow和Allow顺序设置是说蜘蛛爬行我们的文件是第一个成功匹配的Disallow和Allow确定第一次访问是哪个?url地址。

三:robots.txt写法

设置robots.txt写作时//和/是核心部分,也是我们seo熟悉,这里还是说说吧,虽然熟悉,但是如果你不注意在写作中少写一个符号,那就等于白写这个符号;

有以下几种写法:

Disallow:/asd/(禁止抓取文件夹中的所有东西)

Allow: /asd/far(允许抓取目录"far"文件夹)

Disallow: /cgi-bin/*.html(禁止抓取/禁止抓取/(禁止抓取/禁止抓取/禁止抓取/禁止抓取/(禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/(禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/禁止抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/(禁止抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/(禁止抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取/抓取cgi-bin/目录下的一切".html"网页格式(包括子目录)

Disallow: /*?*(阻止所有访问网站动态网站页)

Allow: .gif$与Disallow: .jpg$(只能抓取gif图片和网页的格式,禁止使用其他格式的图片)

四:利用robots里通匹配符符符符符合蜘蛛的喜好

是设置robots里通配符的写法“*”和“$”,其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。”*” 匹配0或多个任意字符。根据蜘蛛的喜好编写通配符是我们网站优化的重点。他们不知道蜘蛛在抓取我们网站上的一些东西。如果你想让蜘蛛更喜欢我们的网站,你仍然需要我们放弃它们,并使用上述通配符来投资它们。

五:使用robots.txt吸引蜘蛛抓

蜘蛛打开我们robots,Allow这个代码的使用是一个非常重要的步骤,蜘蛛匹配到你想要抓取的页面,这里是让他吃食物,让蜘蛛爬得更快,他会专注于抓取,这是一个协议,这也是我们需要使用的技能。

兄弟们想要禁止蜘蛛访问一些内容,我们仍然必须确定,这些文档是我们应该禁止对蜘蛛有益,相反,很多链接我们需要使用网站管理员工具来检查死链对网站的危害,相反,我们的一些链接对蜘蛛有益,看看这是否知道如何处理这些链接?

作者:凯夜seo(QQ:577438643)

如需转载,请注明出处


标签: 我们   蜘蛛