这是谁家的蜘蛛

By David Yin on October 11, 2008 10:17 PM | 7 Comments | No TrackBacks

做搜索不是这样做的，怎么可以伪装蜘蛛成普通用户来大量抓取网页呢？
正规的蜘蛛应该告诉服务器，它是一只什么蜘蛛，来自何方，是来执行抓取页面的任务的。
这群蜘蛛却不这么做，网上搜索到说是腾讯QQ的。

不管怎样，屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42

据说还有其它的IP，等我发现困扰，再屏蔽不迟。

作者: David Yin
原载: SEO 网站优化推广
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

Categories:

网站开发技术

Tags:

请点击鲜果推荐，让更多的读者受益：

相关的文章

No TrackBacks

TrackBack URL: http://seo.g2soft.net/mt-cgi/mt-t-1102.cgi/2236

7 Replies

| Add a Reply

By xiaobao on October 10, 2008 6:37 PM

我想应该是这样的：
Google或者百度为了防止网站程序通过［判断是否是蜘蛛］，给用户和搜索引擎返回不同的页面。于是偶尔伪装一下正常用户来抓网站页面。若发现伪装后抓取的同一个页面与没有伪装时抓取的页面不一致，就认为网站作弊。
- By David Yin on October 10, 2008 8:51 PM
  
  这些蜘蛛应该不是，它同时抓取了很多页面。如果是Google或者百度，我想它们不需要抓取这么多的页面，要比较只需要抓取少量的页面就可以了，它还抓取图片，所以我的判断不是常规的搜索引擎蜘蛛，而是spam蜘蛛。
By 舞羽飘渺 on October 10, 2008 10:18 PM

可是，有蜘蛛爬过，难道不好么？
- By David Yin on October 13, 2008 3:35 PM
  
  这个世界上有一种东西叫做spam，它会装扮成各种样子，有时就是像蜘蛛。
  还有一种东西叫做bad behavior spider，都不是好东西。
By cnzzr on October 14, 2008 4:58 AM

文章能够被 David Yin 引用一次算得上三生有幸了！
- By David Yin on October 14, 2008 7:32 PM
  
  言重了，互相学习，互相切磋。
By zhongtiekuaiyun on October 16, 2008 9:13 AM

这个ip怎么回车

Leave a comment

Name

Email Address

URL

Remember personal info?

Comments (You may use HTML tags for style)