Robots Exclusion Protocol的改进

今天看到Google官方Blog的一篇文章，谈到了Robots Exclusion Protocol的运作。

很详细，如果你要对这个东西有所了解，建议您看一下。

而在六月一日的一篇文章中，Google提到了一些有趣的东西。
Geolocation:根据地理位置来发送不同的页面。
IP delivery:同上面的类似，因为IP地址通常是归属于某个国家或地区的。
Cloaking:这是违反Google站长指南的做法。
First click free:主要是那些付费论坛或者其他内容提供商，通过搜索而来的第一个页面应该是免费的，之后点击就会到达一个登陆页面或者注册页面。这种网站一般是需要付费浏览的。

这里的四点，除了第叁点是违规之外，其他的都有一个前提，就是对待GoogleBot不要有例外，还是要同对待其他的普通用户一样的内容，否则就是属于违反了站长指南（1）（2）。