Директивы указанные в файле robots.txt являются рекомендательными и большинство ботов не реагируют на них по этому для действенной защиты сайта от Ботов необходимо добавить в .htaccess следующие правила: После того как это сделать в лог файле сервера появится ответ 403 на все обращения Ботов из этого списка. Это существенно снизит нагрузку на сервер и страницы сайты в броузере пользователей будут открываться быстрее. Блокировка по User-Agent Можно анализировать логи и вносить вручную в .htaccess правила блокировки роботов. Пример кода: Следующий пример:
Read More