Цитата:
Ага, если не вставить пустую строку между второй и третьей строками, то сработает только первое правило, а правило для Openbot будет проигнорировано.
Не придирайтесь к словам, это и так понятно.
---------------
Позвольте развить тему
Выдержка из авторитетного документа, дополняющего документацию к mod_rewrite
Описание:
Как мы можем заблокировать действительно надоедливых роботов на получение страниц из специфических областей сайта? Файла /robots.txt содержащего записи «Robot Exclusion Protocol» обычно недостаточно для избавления от такого робота.
Решение:
Мы используем набор правил запрещающие доступ для роботов к URL из веб-пространства (возможно это пространство имеет очень глубокую иерархию каталогов, обход которой роботом, привел бы к очень большой нагрузке на сервер). Мы должны убедиться что запрещается доступ только для конкретного робота, т.е. просто запрет для хоста с которого работает робот недостаточен. Это, также блокировало бы доступ пользователей с этого хоста. Этого эффекта мы добьемся проверяя также информацию из HTTP заголовока User-Agent.
Набор правил mod_rewrite для отпугивания надоедливых роботов
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} email [NC,OR]
RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR]
RewriteCond %{HTTP_USER_AGENT} booch_ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} naverbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ibm\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} appie [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^obot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} zipppbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [NC,OR]
RewriteCond %{HTTP_USER_AGENT} grub-client [NC,OR]
RewriteCond %{HTTP_USER_AGENT} jetbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} wget [NC]
RewriteRule ^.*$ - [F]
---------------------
а вот еще прикол
после 9 утра отгоняем яху и мснбот
RewriteCond %{TIME_HOUR}%{TIME_MIN} >0900
RewriteCond %{HTTP_USER_AGENT} yahoo
RewriteRule ^.*$ - [F]
RewriteCond %{TIME_HOUR}%{TIME_MIN} >0900
RewriteCond %{HTTP_USER_AGENT} msnbot
RewriteRule ^.*$ - [F]
Занес в .htacces сегодня. Завтра посмотрим результаты
