每天都会有些搜索引擎的蜘蛛来探访每个网站，那么有哪些蜘蛛，它们的出访频率又是怎样的呢？
让我们来研究一下。
下图是本站截至到昨天所统计的资料，采用的统计系统是Advanced Web Statistics 6.5 (build 1.857)，关于这个统计系统不做讨论，就谈谈其中的“搜索引擎网站的机器人”部分的资料。
讨论的前提是，本站的内容是每天都更新的。
我把这些蜘蛛分成两部分，第一部分是很勤快的，几乎天天来，包括了下面几种：
Googlebot
这个是Google搜索的蜘蛛。
Yahoo Slurp
这个是Yahoo搜索的蜘蛛。
BaiDuSpider
百度的蜘蛛
Bloglines
知名的Blog新闻服务的蜘蛛
Google AdSense
Google AdSense发布商内容抓取的蜘蛛。
NewsGator Online
同Bloglines齐名的新闻聚合服务的蜘蛛。
larbin 一个开源的搜索引擎，不知道是谁在抓取。
Unknown robot (identified by 'bot/' or 'bot-')
还有一些其他的未命名的蜘蛛。
这些蜘蛛的每天到访，能够保证抓取本站每天的最新内容，只要网站保持更新，那么蜘蛛的来抓取网页的频率会基本同你更新的频率相同。
如果你的网站长期不更新，那么蜘蛛们来得次数会越来越少，间隔时间越来越长。
第二部分的蜘蛛们就没有那么勤快了：
基本上都是同Blog的相关服务有关的搜索，以及新闻聚合的蜘蛛。
Technoratibot
OutfoxBot
Blogslive
Yahoo-Blogs
Syndic8
Feedster
Feedburner
下面是一些其它的搜索引擎的蜘蛛。
Feedfetcher-Google
Google抓取Feed所用的蜘蛛。
MSNBot
微软MSN搜索的蜘蛛。
Alexa (IA Archiver)
这个大家都知道，是Alexa排名的那个了。
T-H-U-N-D-E-R-S-T-O-N-E
BecomeBot
Nutch
三种搜索，不太知道是哪种。
从上面所有的蜘蛛来看，前三位的还是，Google，Yahoo和百度。
从统计的结果来看，由搜索引擎转介过来的用户最多的还是Google，百度，和Yahoo。
搜索引擎的排名由此可见。
敬请留言：