Сбор идёт нормально днём и падает ночью, ищем причину

Разбираюсь с поведением площадки, есть наблюдения.

Опишу по порядку, что есть и чего не хватает.

Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. После получаса простоя адреса возвращаются в работу сами. Площадка ведёт себя по-разному в будни и выходные.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Буду признателен за конкретику.

Проверьте, что настройка вообще применилась.

Так и есть, проходил через это в прошлом году.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Разбейте прогон на части, станет ровнее.

Проходил ровно этот путь года полтора назад.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Сохранил, пригодится в следующем проекте.

Ответ приходит пустой или с содержимым?

Тот же вывод, только я шёл к нему дольше.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Мы решили это переносом прогона на другое время.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.