Google 开源 robots.txt 解析器,并推动 REP 为互联网标准

作者:


最后更新于 | 最初发布于 | 分类:


大概这是七月初最重要的一条有关搜索引擎行业的新闻,Google 公司,力推 REP 为互联网标准,并且把自己的 robots.txt 解析器在 Github 上开源了。

robots.txt,源自于 1994年的时候,Martijn Koster (一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个 REP,始终没有成为一个互联网标准。

现在 Google 联合其他的几个巨头,力图把 REP 推动成为一个互联网标准。

Robots Exclusion Protocol 草案: draft-rep-wg-topic-00

googlebots-robotstxt25_announce OSS parser.png在把 REP 作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在 robots.txt 不止可以用于 HTTP,还包括了 FTP 等基于 URI 的传输协议;解析器的开发者需要至少解析 robots.txt 的前 500KB内容;还有缓存时间等等一些新的标准内容。

网站站长们如果对此有建议,有问题,等等,都可以到 Webmaster Community 或者twitter 上联系。

就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。

如何使用 robots.txt: https://seo.g2soft.net/2015/09/09/robots-txt.html



搜索
关于
David Yin
研究(SEO)搜索引擎优化排名和(PPC)竞价排名技术,总结搜索营销学的各种方法和趋势。专业SEO优化研究,致力于搜索引擎优化技术的普及和推广。
David Yin
Email:seo[AT]g2soft.net
版权说明
如果想转载,而又不明白转载的条件,请看本站的详细版权说明
推荐
Dreamhost Hosting
使用优惠码“save252015”,节省更多,每月只要 $2.59。
归档
标签云
热门标签