做搜索不是这样做的,怎么可以伪装蜘蛛成普通用户来大量抓取网页呢?
正规的蜘蛛应该告诉服务器,它是一只什么蜘蛛,来自何方,是来执行抓取页面的任务的。
这群蜘蛛却不这么做,网上搜索到说是腾讯QQ的。
不管怎样,屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42
据说还有其它的IP,等我发现困扰,再屏蔽不迟。
做搜索不是这样做的,怎么可以伪装蜘蛛成普通用户来大量抓取网页呢?
正规的蜘蛛应该告诉服务器,它是一只什么蜘蛛,来自何方,是来执行抓取页面的任务的。
这群蜘蛛却不这么做,网上搜索到说是腾讯QQ的。
不管怎样,屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42
据说还有其它的IP,等我发现困扰,再屏蔽不迟。