Повторы после отказа: сколько раз пробовать и с какой паузой

Отказы пошли внезапно, до этого месяц всё было ровно.

Часть адресов проходит спокойно, часть ловит проверку с первых минут. После получаса простоя адреса возвращаются в работу сами.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Подскажите, где я ошибаюсь.

Пришёл к этому не сразу, сначала сделал ошибку.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Тема нужная, подписался.

Одно уточнение, иначе расчёт уедет.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Поправлю: дело не в объёме, а в темпе.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Логи в помощь, без них это гадание.