这是谁家的蜘蛛

作者:


最后更新于 | 最初发布于 | 分类:


做搜索不是这样做的,怎么可以伪装蜘蛛成普通用户来大量抓取网页呢?
正规的蜘蛛应该告诉服务器,它是一只什么蜘蛛,来自何方,是来执行抓取页面的任务的。
这群蜘蛛却不这么做,网上搜索到说是腾讯QQ的。


不管怎样,屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42

据说还有其它的IP,等我发现困扰,再屏蔽不迟。



搜索
关于
David Yin
研究(SEO)搜索引擎优化排名和(PPC)竞价排名技术,总结搜索营销学的各种方法和趋势。专业SEO优化研究,致力于搜索引擎优化技术的普及和推广。
David Yin
Email:seo[AT]g2soft.net
版权说明
如果想转载,而又不明白转载的条件,请看本站的详细版权说明
推荐
Dreamhost Hosting
使用优惠码“save252015”,节省更多,每月只要 $2.59。
归档
标签云
热门标签