Боты одолели

[newmarketer]

Достали уже всякие боты. Долбят и долбят сайт, нагрузка от них запредельная, хостер постоянно присылает предупреждения о превышении допустимой нагрузки. Что посоветуете?

[seonick12]

Банить надо роботов, по IP.

[newmarketer]

Банить надо роботов, по IP.

Это понятно. Но боты могут грузить сайт всю ночь, а я увижу это только утром. Баню, а они в следующий раз заходят с другого IP и снова грузят.

[Chief]

Я делал следующим образом: написал скрипт, который анализирует IP-адрес запроса. Записывает его и проверяет, сколько запросов было с этого IP за определённый промежуток времени. Если превышен заданный порог - то отправляем этот адрес в бан-лист, и в следующий раз бота с этого адреса на сайт не пускать. Главное, чтобы в этот список не попали гугл-боты и яндекс-боты. Их приходится как-то отслеживать и вносить в "белый список".