Google 搜索的确可能会收录在 Robots.txt 里被排除的网址

作者:


最后更新于 | 最初发布于 | 分类:


标题就说了歌词大意了。其实是今天我在看推文的时候,看到一位推油 Michael Cottam 很不高兴,因为他在 Google Search Console里看到有个网址被收录,但该网址是被明确排除在他的robots.txt文件内的,当然他就很不开心,说好排除后,就不收录的,怎么就说话不算话呢?

下面的大拿 John,就解释了, Robots.txt 是用来控制抓取的,不是管理收录网址的。在Google的帮助文件中有明确的说明。

google-index-sample.jpg
一个网址,或者页面,如果有外部链接,从其他网站链接到它,那么不管它是否被明确标识在 robots.txt内,都有可能被收录到Google搜索引擎中。
如果你要禁止收录,有两种做法:
1)密码保护你的网页
2)网页内加入 noindex meta 头。

有兴趣的可以看看 Google 帮助 - robots.txt



搜索
关于
David Yin
研究(SEO)搜索引擎优化排名和(PPC)竞价排名技术,总结搜索营销学的各种方法和趋势。专业SEO优化研究,致力于搜索引擎优化技术的普及和推广。
David Yin
Email:seo[AT]g2soft.net
版权说明
如果想转载,而又不明白转载的条件,请看本站的详细版权说明
推荐
Dreamhost Hosting
使用优惠码“save252015”,节省更多,每月只要 $2.59。
归档
标签云
热门标签