前些日子,屏蔽了一些 IP ,在做了一些研究后,发现这些都是来自华为。
一直以来,都认为华为只是做硬件,做软件,还没想到它们还要做搜索。可惜的是,他们一如既往的不按规矩来,过度的抓取,以及完全不考虑被抓取的网站的性能影响。
打开 http://aspiegel.com/en/about/ 网页,可以看到写着。
Aspiegel: The HUAWEI Mobile Services (international) are provided by Aspiegel Limited.
如果继续,打开 http://aspiegel.com/en/how-petal-search-works/ 网页,可以看到Petal Search 的相关介绍。
所以华为搜索引擎,就是 Aspiegel 搜索,现在改名成为了 Petal Search。就是一回事。
根据 Hyypernode.com 主机商的情况报导,华为的搜索引擎蜘蛛对他们的用户的影响,很多人抱怨,机器人淹没了他们的网站,在线服务因被 AspiegelBot 的流量淹没而无法使用。
如何屏蔽华为的蜘蛛、机器人
一般就是两种办法。
1) 用 Robots.txt 设置,禁用它。
User-agent: PetalBot
Disallow: /