Google 搜索的确可能会收录在 Robots.txt 里被排除的网址

  • Posted on | Updated on
  • by
  • in

标题就说了歌词大意了。其实是今天我在看推文的时候,看到一位推油 Michael Cottam 很不高兴,因为他在 Google Search Console里看到有个网址被收录,但该网址是被明确排除在他的robots.txt文件内的,当然他就很不开心,说好排除后,就不收录的,怎么就说话不算话呢?

下面的大拿 John,就解释了, Robots.txt 是用来控制抓取的,不是管理收录网址的。在Google的帮助文件中有明确的说明。

google-index-sample.jpg
一个网址,或者页面,如果有外部链接,从其他网站链接到它,那么不管它是否被明确标识在 robots.txt内,都有可能被收录到Google搜索引擎中。
如果你要禁止收录,有两种做法:
1)密码保护你的网页
2)网页内加入 noindex meta 头。

有兴趣的可以看看 Google 帮助 - robots.txt


作者: David Yin
原载: SEO 网站优化推广
版权所有。转载时必须以链接形式注明作者和及本声明。