Заголовки запроса: что менять, а что трогать не стоит

Цифры воспроизводятся, значит это не случайность.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Может, есть более простой путь, которого я не вижу.

Долго держал старую схему, пока не упёрся.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

А что показывают логи в момент падения?

Подтверждаю, у нас было ровно то же самое.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Если поможет, напишите здесь же, пригодится следующим.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные прокси с целыми подсетями, когда старый поставщик начал резать канал на длинных прогонах.

Уменьшите потоки вдвое и замерьте заново.

Полгода назад ловил то же самое.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

А что показывают логи в момент падения?

Начните с малого объёма и растите постепенно.

Согласен с предыдущим ответом, но с одной оговоркой.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Считаю так же, и цифры у меня близкие.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Считайте по темпу, всё остальное вторично.

Подтверждаю, у нас было ровно то же самое.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Всё верно написали выше, добавлю от себя пару деталей.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.