Google蜘蛛有几种

作者:


最后更新于 | 最初发布于 | 分类:


如果你看过一些有关SEO的文章,一定会发现有这样一个名词“Google蜘蛛”,也叫做Google Spider。
常见的Google蜘蛛有两种。
一种是搜索引擎用的,叫做Googlebot,它会访问制定的网页,收集该网页上的链接,而且会顺着这些链接找其他的网页,通过这些链接,把世界上的网页连成了一个巨大的网,所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。
在Robots.txt文件里的写法和设定,如下:

User-Agent: Googlebot
Disallow:

还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。

在Robots.txt文件里的写法和设定,如下:

User-agent: Mediapartners-Google*
Disallow:

目前对于搜索排名最重要的还是Googlebot这种蜘蛛,而参加了Google AdSense广告的站长,他们的网页如果有放Google AdSense代码,那么其Mediabot抓取网页内容会补充给搜索引擎,所以这些网页的收录会比较快。


参考文章:
How do I grant access to your crawler?



搜索
关于
David Yin
研究(SEO)搜索引擎优化排名和(PPC)竞价排名技术,总结搜索营销学的各种方法和趋势。专业SEO优化研究,致力于搜索引擎优化技术的普及和推广。
David Yin
Email:seo[AT]g2soft.net
版权说明
如果想转载,而又不明白转载的条件,请看本站的详细版权说明
推荐
Dreamhost Hosting
使用优惠码“save252015”,节省更多,每月只要 $2.59。
归档
标签云
热门标签