Google蜘蛛有几种

如果你看过一些有关SEO的文章,一定会发现有这样一个名词“Google蜘蛛”,也叫做Google Spider。
常见的Google蜘蛛有两种。
一种是搜索引擎用的,叫做Googlebot,它会访问制定的网页,收集该网页上的链接,而且会顺着这些链接找其他的网页,通过这些链接,把世界上的网页连成了一个巨大的网,所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。
在Robots.txt文件里的写法和设定,如下:

User-Agent: Googlebot
Disallow:

还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。

在Robots.txt文件里的写法和设定,如下:

User-agent: Mediapartners-Google*
Disallow:

目前对于搜索排名最重要的还是Googlebot这种蜘蛛,而参加了Google AdSense广告的站长,他们的网页如果有放Google AdSense代码,那么其Mediabot抓取网页内容会补充给搜索引擎,所以这些网页的收录会比较快。


参考文章:
How do I grant access to your crawler?