做搜索不是这样做的,怎么可以伪装蜘蛛成普通用户来大量抓取网页呢?
正规的蜘蛛应该告诉服务器,它是一只什么蜘蛛,来自何方,是来执行抓取页面的任务的。
这群蜘蛛却不这么做,网上搜索到说是腾讯QQ的。
不管怎样,屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42
据说还有其它的IP,等我发现困扰,再屏蔽不迟。
做搜索不是这样做的,怎么可以伪装蜘蛛成普通用户来大量抓取网页呢?
正规的蜘蛛应该告诉服务器,它是一只什么蜘蛛,来自何方,是来执行抓取页面的任务的。
这群蜘蛛却不这么做,网上搜索到说是腾讯QQ的。
不管怎样,屏蔽如下的IP
58.61.164.38
58.61.164.39
58.61.164.40
58.61.164.41
58.61.164.42
据说还有其它的IP,等我发现困扰,再屏蔽不迟。
这几天在做网站优化,也看了本站的log日志,其中有一些奇怪的请求以前没有注意过,是apple-touch-icon.png,返回的都是404错误。
这个文件是什么东西呢?
通过搜索,可以了解到这是一个类似网站favicon的图标文件,用来在iphone和ipod上创建快捷键时使用。
这个文件应当是png格式,57x57像素大小,放在网站根目录之下。
如果准备的文件不是57x57的话,它会自己缩放的。
在页面的head部分,用下面的格式表示。
<link rel="apple-touch-icon" href="/apple-touch-icon.png"/>
随着Apple公司的东西越来越多人使用,这部分的用户也不应当被遗忘。
这次用的是YUIcompressor,这是Yahoo出品的JS文件压缩器。通过压缩可以获得非常小的JS文件。
以MovableType系统的mt.js文件为例。
原始大小为20.2k,因为已经使用了Gzip压缩,用YSlow的Componet查看,可以看到Gzip压缩后为5.9k。
使用YUIcompressor来压缩,处理之后的mt.js文件为11.6k,再经过Gzip压缩,就只有3.9k了。
这个压缩率是非常高的,按未经Gzip的文件来比较是压缩率57%。用Gzip之后的文件来比较是66%。
下面就来介绍一下这个压缩器。
这种压缩正确的说法是使文件最小化,就是通过去除文件中不必要的字符来缩小文本文件。
这些不必要的字符包括:空白字符,就是空格、换行、以及tab符号;注释。
这种压缩对于网站的好处就是减小了文件的大小,缩短了文件载入的时间。
做这项工作的有两种工具,其中之一就是Yahoo出品的YUI Compressor。
它可以用来缩小JS文件,还可以缩小CSS文件。
使用Firefox的网站开发者大多都会安装Firebug,而使用Firebug的用户也大多会使用YSlow。
今天DavidYin就用了YSlow来优化网站的性能,当然还是以本Blog为例。
测试的结果很不好,performance分只有F(27),根据YSlow的建议,对,htaccess中做了以下的优化.
FileETag none ExpiresActive On ExpiresDefault A86400 ExpiresByType application/javascript A2592000 ExpiresByType application/x-javascript A2592000 ExpiresByType text/css A2592000 ExpiresByType image/x-icon A2592000 ExpiresByType image/gif A604800 ExpiresByType image/png A604800 ExpiresByType image/jpeg A604800 ExpiresByType text/plain A604800 ExpiresByType application/x-shockwave-flash A604800 ExpiresByType video/x-flv A604800 ExpiresByType application/pdf A604800 ExpiresByType text/html A900 AddOutputFilterByType DEFLATE text/css application/javascript
这个部分是我可以做的优化,也是针对本站自身的优化,主要有两项,一个是增加文件的有效期,全局默认是1天,然后对个别文件类型进行个别设置。另外一个是增加Gzip的压缩设置,对于CSS和JS文件进行压缩,以提高响应能力。
昨天看到Joomla!发布了一个紧急安全补丁,只是因为一个严重的安全漏洞,他们发布了Joomla1.5.6。
还好Dreamhost很及时,今天就在One-Click安装提供了一键升级。
很方便,现在只要点击一下,就可以把我多个用Joomla搭建的网站升级了。
因为选择ajax平台时,选择了jQuery,所以也会关注其相关产品。
新东西很多。
One API to Rule Them AllStability, Debugging, Testing and jquery.simulate
The Need for Effects: Enter Enchant
Roll Your Own Themes: ThemeRoller!
Plugin Stabilization and Enhancements
目前我在写的一个网站和下个月会开发的另外两个网站,都会尽量的使用jQuery,特别是jQuery UI,以改善用户体验。如同SEO,网站优化一样,在网站开发阶段就要融入,而且都是以用户为本,以用户舒不舒服为出发点来做的。