Robots Exclusion Protocol的改进

今天看到Google官方Blog的一篇文章,谈到了Robots Exclusion Protocol的运作

很详细,如果你要对这个东西有所了解,建议您看一下。

而在六月一日的一篇文章中,Google提到了一些有趣的东西。
Geolocation:根据地理位置来发送不同的页面。
IP delivery:同上面的类似,因为IP地址通常是归属于某个国家或地区的。
Cloaking:这是违反Google站长指南的做法。
First click free:主要是那些付费论坛或者其他内容提供商,通过搜索而来的第一个页面应该是免费的,之后点击就会到达一个登陆页面或者注册页面。这种网站一般是需要付费浏览的。

这里的四点,除了第叁点是违规之外,其他的都有一个前提,就是对待GoogleBot不要有例外,还是要同对待其他的普通用户一样的内容,否则就是属于违反了站长指南(1)(2)。