Как ограничить количество запросов от поисковых роботов

В случае активного добавления контента на сайт, повышенную нагрузку могут создавать роботы поисковых систем, которые делают очень большое количество запросов к сайту.
Для ограничения таймаута между запросами мы рекомендуем использовать параметр Crawl-delay который следует добавить в robots.txt сайта. На качество индексации сайта данная правка никак не повлияет. Вы рекомендуем указывать значения в районе 30-50 секунд. Пример: 
User-agent: Yandex
Crawl-delay: 40 # задает таймаут в 40 секунд
  • robots, yandex, google
  • 0 Пользователи считают это полезным
Помог ли вам данный ответ?

Связанные статьи

Как выполнить трассировку в Windows

Для проверки наличия проблем с доступом к сайту/серверу, может потребоваться выполнить...

Как активировать тестовый период для хостинга и VPS

Для активации тестового периода необходимо создать заказ на необходимый тариф. Данные доступа...

Можно ли установить игровой сервер?

    Вы сможете установить игровой сервер на VPS-хостинг либо на выделенный сервер. Количество...

Перенос сайтов

    Мы выполняем бесплатный перенос сайтов с других хостингов, а так же при смене тарифа...

На какой срок предоставляется тестовый период?

Наша компания предоставляет тестовый приод длительностью 3 дня для VPS и 7 дней для виртуального...