如何让Robots.txt禁止蜘蛛抓取内页

在robots.txt的写法中有一些技巧,今天我也才注意到。

比如有一个论坛,不希望蜘蛛去抓取内容,希望之允许蜘蛛爬首页,这样要如何做呢?
原先我就是一个简单的句子,把所有的蜘蛛都屏蔽在外,什么页面也不允许。

User-agent: *
Disallow: /

在学习了Google的帮助文件后,了解到可以使用通配符来作模式匹配,以更好的达到目的。

就是用(*)做通配符,括号内的星号。

User-agent: *
Disallow: /*?

上面这个写法就可以,所有以域名开头,斜杠后跟一串字符,中间有问号之后再由一串字符的网址都不允许抓取。
因为这个论坛使用的是phpbb,没有使用什么特别的静态处理,所以各种网址中都含有问号,这样就都屏蔽了。而首页是没有问号的,就是一个域名,所以就会通过,可以抓取。

就是这样,有问题,查看Google网站管理员的帮助文件会找到正式的答案。

更多内容参见Google站长帮助