Отказы пошли пачкой после смены времени прогона

Прогон стабильно падает в одном и том же месте.

Опишу по порядку, что есть и чего не хватает.

После получаса простоя адреса возвращаются в работу сами. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

Кто сталкивался, поделитесь опытом.

Проверял на трёх проектах подряд, картина устойчивая.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Держите нас в курсе.

Проверьте, что настройка вообще применилась.

Всё верно написали выше, добавлю от себя пару деталей.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Полгода назад ловил то же самое.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

У нас на прошлом проекте это выглядело так.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Хороший разбор, добавлю в закладки.

Проверял на трёх проектах подряд, картина устойчивая.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Тема нужная, подписался.

Был случай, когда всё сошлось только на третий день разбора.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

А что показывают логи в момент падения?

Держите запас, ровно по расчёту работать не выйдет.

Добавлю то, что обычно вылезает на второй месяц работы.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Подтверждаю, у нас было ровно то же самое.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Если поможет, напишите здесь же, пригодится следующим.

Добавлю то, что обычно вылезает на второй месяц работы.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.