Проверка на робота приходит только на части адресов

Цифры воспроизводятся, значит это не случайность.

Что имеем на входе.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. В ответе приходит код 200, но вместо содержимого короткая заглушка.

Буду признателен за конкретику.

Добавлю то, что обычно вылезает на второй месяц работы.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Уменьшите потоки вдвое и замерьте заново.

Одно уточнение, иначе расчёт уедет.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Начинал с того же, потом переделал.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Проверьте, что настройка вообще применилась.

Осторожнее с этим выводом, он верен не всегда.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Тема нужная, подписался.