Сбор упал только по одному разделу сайта, остальные идут

Пишу с логами, чтобы разговор был предметным.

Сразу к делу, чтобы не растекаться.

Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Отказ приходит стабильно, разброс между прогонами не больше десятка запросов.

Кто как это обходит?

Пул под такие объёмы держу постоянный. Беру приватный пул IPv4, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Всё верно написали выше, добавлю от себя пару деталей.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Всё верно написали выше, добавлю от себя пару деталей.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Держите нас в курсе.

Добавлю то, что обычно вылезает на второй месяц работы.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Хороший разбор, добавлю в закладки.