Проверка на робота приходит только на части адресов

Пишу с логами, чтобы разговор был предметным.

Постараюсь коротко.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

Может, тут вообще другой подход нужен.

Один момент упущен, и он важный.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Уберите лишние потоки, толку от них нет.

Тут не всё так однозначно, смотря какой объём.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Разбирались втроём, нашли случайно.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Проверьте, что ответ полный.

Это верно для одной площадки и неверно для другой.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Если найдёте причину, поделитесь.