429 ровно на 900-м запросе

Разбираюсь с поведением площадки, есть наблюдения.

Коротко об условиях.

После получаса простоя адреса возвращаются в работу сами. Площадка ведёт себя по-разному в будни и выходные.

Поделитесь, кто как выкручивается.

Есть момент, который меняет всю картину.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Проверьте, что ответ полный.

Тут не всё так однозначно, смотря какой объём.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Если найдёте причину, поделитесь.

Сколько адресов и какой темп при этом стоит?

Сверяйте полноту после каждого прогона.

Проходил ровно этот путь года полтора назад.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Данные теряются равномерно или кусками?

Смотрите разброс подсетей.

Тут не всё так однозначно, смотря какой объём.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

У меня картина совпадает почти полностью.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Пишите, если понадобится уточнить.

Пришёл к этому не сразу, сначала сделал ошибку.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Начинал с готовых сервисов, потом ушёл на своё.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Интересно, чем закончится.