MSN Search有几种蜘蛛

我曾经写过有关蜘蛛的分类－根据搜索引擎来分，还有Google有几种蜘蛛，今天就来谈谈MSN Search有几种。

现在的搜索引擎，为了更好的，更有效率的抓取所需要的内容会派出不同的蜘蛛来抓取不同类型的内容。

MSN Live Search的蜘蛛就有5种之多，让DavidYin给你细细道来：
1）MSNBot Main web crawler (www.live.com)
这个是工作最繁重的一个蜘蛛了，绝大部分的工作由它来完成。

2）MSNBot-Media Images & all other media (images.live.com)
这个是专门抓取图片和其它的媒体文件。

3）MSNBot-NewsBlogs News and blogs (search.live.com/news)
现在的Blog很流行，还有新闻网站，这个蜘蛛就是负责这方面的工作。

4）MSNBot-Products Products & shopping (products.live.com)
产品蜘蛛，顾名思义就是专门抓取那些网上销售的商店，去抓取那些被销售的产品的名称、图片、介绍、价格等内容的蜘蛛。

5）MSNBot-Academic Academic search (academic.live.com)
这是针对那些学术论文，学术期刊而设置的蜘蛛，负责学术文章的抓取。

可以注意到，所有的MSN蜘蛛都是由MSNBot开头的。

Live Search's Weblog的这篇文章谈到如何判断蜘蛛，以及是否被伪造，如何识别等等，可以去看看。