Повторы после отказа: сколько раз пробовать и с какой паузой

Отказы пошли внезапно, до этого месяц всё было ровно.

После получаса простоя адреса возвращаются в работу сами. Доля отказов около трёх процентов, но растёт.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Буду признателен за конкретику.

Мы решили это переносом прогона на другое время.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

Если найдёте причину, поделитесь.

Есть момент, который меняет всю картину.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Тут легко перепутать два разных момента.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Сверяйте полноту после каждого прогона.