看看有些哪些搜索引擎来探访过本站

每天都会有些搜索引擎的蜘蛛来探访每个网站,那么有哪些蜘蛛,它们的出访频率又是怎样的呢?

让我们来研究一下。
下图是本站截至到昨天所统计的资料,采用的统计系统是Advanced Web Statistics 6.5 (build 1.857),关于这个统计系统不做讨论,就谈谈其中的“搜索引擎网站的机器人”部分的资料。

spiders_list.jpg

讨论的前提是,本站的内容是每天都更新的。
我把这些蜘蛛分成两部分,第一部分是很勤快的,几乎天天来,包括了下面几种:
Googlebot
这个是Google搜索的蜘蛛。
Yahoo Slurp
这个是Yahoo搜索的蜘蛛。
BaiDuSpider
百度的蜘蛛
Bloglines
知名的Blog新闻服务的蜘蛛
Google AdSense
Google AdSense发布商内容抓取的蜘蛛。
NewsGator Online
同Bloglines齐名的新闻聚合服务的蜘蛛。
larbin 一个开源的搜索引擎,不知道是谁在抓取。
Unknown robot (identified by 'bot/' or 'bot-')
还有一些其他的未命名的蜘蛛。

这些蜘蛛的每天到访,能够保证抓取本站每天的最新内容,只要网站保持更新,那么蜘蛛的来抓取网页的频率会基本同你更新的频率相同。

如果你的网站长期不更新,那么蜘蛛们来得次数会越来越少,间隔时间越来越长。

第二部分的蜘蛛们就没有那么勤快了:
基本上都是同Blog的相关服务有关的搜索,以及新闻聚合的蜘蛛。
Technoratibot
OutfoxBot
Blogslive
Yahoo-Blogs
Syndic8
Feedster
Feedburner

下面是一些其它的搜索引擎的蜘蛛。
Feedfetcher-Google
Google抓取Feed所用的蜘蛛。
MSNBot
微软MSN搜索的蜘蛛。
Alexa (IA Archiver)
这个大家都知道,是Alexa排名的那个了。

T-H-U-N-D-E-R-S-T-O-N-E
BecomeBot
Nutch
三种搜索,不太知道是哪种。

从上面所有的蜘蛛来看,前三位的还是,Google,Yahoo和百度。
从统计的结果来看,由搜索引擎转介过来的用户最多的还是Google,百度,和Yahoo。

搜索引擎的排名由此可见。


作者: David Yin
原载: SEO 网站优化推广
版权所有。转载时必须以链接形式注明作者和及本声明。