如果你看过一些有关SEO的文章,一定会发现有这样一个名词“Google蜘蛛”,也叫做Google Spider。
常见的Google蜘蛛有两种。
一种是搜索引擎用的,叫做Googlebot,它会访问制定的网页,收集该网页上的链接,而且会顺着这些链接找其他的网页,通过这些链接,把世界上的网页连成了一个巨大的网,所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。
在Robots.txt文件里的写法和设定,如下:
User-Agent: Googlebot
Disallow:
还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。
在Robots.txt文件里的写法和设定,如下:
User-agent: Mediapartners-Google*
Disallow:



Leave a comment
Name和email是必填项