这是谁家的蜘蛛

我想应该是这样的：
Google或者百度为了防止网站程序通过［判断是否是蜘蛛］，给用户和搜索引擎返回不同的页面。于是偶尔伪装一下正常用户来抓网站页面。若发现伪装后抓取的同一个页面与没有伪装时抓取的页面不一致，就认为网站作弊。

这些蜘蛛应该不是，它同时抓取了很多页面。如果是Google或者百度，我想它们不需要抓取这么多的页面，要比较只需要抓取少量的页面就可以了，它还抓取图片，所以我的判断不是常规的搜索引擎蜘蛛，而是spam蜘蛛。

可是，有蜘蛛爬过，难道不好么？

这个世界上有一种东西叫做spam，它会装扮成各种样子，有时就是像蜘蛛。
还有一种东西叫做bad behavior spider，都不是好东西。

文章能够被 David Yin 引用一次算得上三生有幸了！

言重了，互相学习，互相切磋。

这个ip怎么回车