Как автоматически выводить адрес из работы после отказа

Проблема повторяется, значит закономерность.

Кратко по условиям.

Часть адресов проходит спокойно, часть ловит проверку с первых минут. До этого месяц работало ровно, ничего в настройках не менял.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Что тут вообще считается нормой?

До этого работало? Что менялось перед тем, как сломалось?

Какая версия программы и что с настройками по умолчанию?

Так делать можно, но есть путь короче.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня прокси IPv4 под сбор данных, два терабайта в месяц уходят незаметно и в счёт не попадают.

Добавьте адресов, потоки трогать не надо.

Смотрите разброс подсетей.

Мы держали старую схему год, зря.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Тема на будущее пригодится многим.

Мы держали старую схему год, зря.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

Совпадает с моим опытом до цифры.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Хороший разбор, добавлю в закладки.

Полгода жил с этим, пока не надоело.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.

Есть возможность повторить прогон и сравнить?

Сначала логи, потом версии.

Мы упирались в то же, пока не поменяли подход.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

До сих пор помню, чем это закончилось.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.