Отказы приходят волнами каждые сорок минут

Спрашиваю тех, кто уже упирался в это же.

В ответе приходит код 200, но вместо содержимого короткая заглушка. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Буду признателен за конкретику.

Долго держал старую схему, пока не упёрся.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Это следствие, а причина лежит глубже.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Пул под такие объёмы держу постоянный. Беру серверные прокси с целыми подсетями, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Меняйте по одному, иначе не поймёте причину.

Обновите список адресов и повторите.

Это на всех площадках или на одной?

Пишите состояние построчно.