Как заблокировать бесполезных роботов создающих нагрузку

Зачастую, сайт могут посещать не только хорошие роботы поисковых систем, но и прочие, которые могут собирать и парсить информацию, искать уязвимости на сайте. Чем создавать повышенную нагрузку.
Ниже представлен шаблон, который можно добавить в htaccess, чтобы отбросить наиболее распространенных роботов.
#Blokirovka botov

SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent None bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
SetEnvIfNoCase User-Agent bing bad_bot
SetEnvIfNoCase User-Agent Semrush bad_bot
SetEnvIfNoCase User-Agent MJ12 bad_bot
SetEnvIfNoCase User-Agent PWeBot bad_bot
SetEnvIfNoCase User-Agent LinksManager.com_bot bad_bot
SetEnvIfNoCase User-Agent SputnikBot bad_bot
SetEnvIfNoCase User-Agent SputnikBot/2.3 bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

#Blokirovka botov

  • htaccess
  • 1 משתמשים שמצאו מאמר זה מועיל
?האם התשובה שקיבלתם הייתה מועילה

מאמרים קשורים

Как изменить версию PHP в DirectAdmin

Для изменения версии PHP необходимо перейти в панели управления DirectAdmin в раздел Select PHP...

Как проверить работу сайта до обновления NS-серверов

Для того чтобы проверить работу сайта до того как сменились NS-записи (произошло обновление кеша...

Зачем выделенный IP адрес на виртуальном хостинге?

Покупка выделенного IP-адреса даёт следующие преимущества:   1. Возможность обращаться к вашему...

Как сменить доменное имя

Для смени доменного имени, вам необзодимо в панели управления DirectAdmin перейти в раздел...

Запуск скрипта по расписанию

Настроить запуск скрипта по расписанию можно в панели управления DirectAdmin,раздел Расширенные...