前几天,我的网站由于被腾讯的SoSo拖曳网页而导致失去响应,通过iptables我封锁了那个ip地址。
结果今天类似问题再次出现，搞得我的服务器load一下子又升高到200多:
[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99
瞬间的并发进程有300多:
主要的ip地址为:58.61.164.138
再封锁了这个ip，不过如果对方不断更换地址，这样的封锁不是办法。
咨询了一下DCBA，他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他，那个早就设置了，这些垃圾搜索引擎根本不看robots.txt文件的。
随后DCBA建议我修改一下Apache的规则，这是一个好办法，修改了一下，类似之前设置过的图片防盗链一样，针对mt-search.cgi的访问只允许来自站内，在httpd.conf中增加如下一段即可:
现在应该可以有效防止这些流氓搜索引擎了吧?
-The End-
结果今天类似问题再次出现，搞得我的服务器load一下子又升高到200多:
[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99
瞬间的并发进程有300多:
[root@eygle logs]# grep mt-search.cgi eygle_access_log.20061208 |awk '{print $1}'|wc -l
321
主要的ip地址为:58.61.164.138
再封锁了这个ip，不过如果对方不断更换地址，这样的封锁不是办法。
咨询了一下DCBA，他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他，那个早就设置了，这些垃圾搜索引擎根本不看robots.txt文件的。
随后DCBA建议我修改一下Apache的规则，这是一个好办法，修改了一下，类似之前设置过的图片防盗链一样，针对mt-search.cgi的访问只允许来自站内，在httpd.conf中增加如下一段即可:
<FilesMatch "mt-search.cgi">
Order Allow,Deny
Allow from env=local_ref
</FilesMatch>
现在应该可以有效防止这些流氓搜索引擎了吧?
-The End-
「喜欢这篇文章，您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文章的来源（墨天轮），文章链接，文章作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
