Google 搜索的确可能会收录在 Robots.txt 里被排除的网址
作者：
最后更新于 | 最初发布于 | 分类： Google排名技术
标题就说了歌词大意了。其实是今天我在看推文的时候，看到一位推油 Michael Cottam 很不高兴，因为他在 Google Search Console里看到有个网址被收录，但该网址是被明确排除在他的robots.txt文件内的，当然他就很不开心，说好排除后，就不收录的，怎么就说话不算话呢？
下面的大拿 John，就解释了， Robots.txt 是用来控制抓取的，不是管理收录网址的。在Google的帮助文件中有明确的说明。
一个网址，或者页面，如果有外部链接，从其他网站链接到它，那么不管它是否被明确标识在 robots.txt内，都有可能被收录到Google搜索引擎中。
如果你要禁止收录，有两种做法：
1）密码保护你的网页
2）网页内加入 noindex meta 头。
有兴趣的可以看看 Google 帮助 - robots.txt
分享：
