Ошибка 403 при сборе: в браузере страница открывается, сборщику отказ

Ловлю это регулярно, хочу понять устройство.

Чтобы вопрос был предметным, вот цифры.

После получаса простоя адреса возвращаются в работу сами. Площадка ведёт себя по-разному в будни и выходные. Отказ приходит стабильно, разброс между прогонами не больше десятка запросов.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Жду любых мыслей, даже сырых.

Разбирались втроём, нашли случайно.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Мы упирались в то же, пока не поменяли подход.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

На одном проекте это стоило нам сорванного срока.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Тема на будущее пригодится многим.

Подтверждаю по своей практике.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Сохранил, пригодится в следующем проекте.

Похоже на правду, у меня цифры близкие.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

У коллеги было то же самое, причина оказалась смешной.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.