常见的Google蜘蛛有两种。
一种是搜索引擎用的，叫做Googlebot，它会访问制定的网页，收集该网页上的链接，而且会顺着这些链接找其他的网页，通过这些链接，把世界上的网页连成了一个巨大的网，所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。
在Robots.txt文件里的写法和设定，如下：
User-Agent: Googlebot
Disallow:
还有一种叫做Mediabot，这种蜘蛛也是Google的，它的目的是抓取网页来匹配Google AdSense与内容相关广告的。
在Robots.txt文件里的写法和设定，如下：User-agent: Mediapartners-Google*
Disallow:
目前对于搜索排名最重要的还是Googlebot这种蜘蛛，而参加了Google AdSense广告的站长，他们的网页如果有放Google AdSense代码，那么其Mediabot抓取网页内容会补充给搜索引擎，所以这些网页的收录会比较快。