Как автоматически выводить адрес из работы после отказа

Ниже что вижу, и вопрос, что с этим делать.

По порядку.

Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. До этого месяц работало ровно, ничего в настройках не менял.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Хочется услышать цифры от практиков.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Добавлю то, что обычно вылезает на второй месяц работы.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня прокси IPv4 под сбор данных, два терабайта в месяц уходят незаметно и в счёт не попадают.

Смотрите подсети, а не только число адресов.

Проверьте, что настройка вообще применилась.

Начинал с того же, потом переделал.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Если поможет, напишите здесь же, пригодится следующим.

Начинал с того же, потом переделал.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Всё верно написали выше, добавлю от себя пару деталей.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Отпишитесь, чем закончится, тема полезная.

Пришёл к этому не сразу, сначала сделал ошибку.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

До этого работало? Что менялось перед тем, как сломалось?

Уменьшите потоки вдвое и замерьте заново.

Был случай, когда всё сошлось только на третий день разбора.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Долго держал старую схему, пока не упёрся.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.