429 ровно на 900-м запросе

Спрашиваю тех, кто уже упирался в это же.

Ниже вводные, дальше сам вопрос.

Часть адресов проходит спокойно, часть ловит проверку с первых минут. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

Буду признателен за конкретику.

Одно уточнение, иначе расчёт уедет.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Проверьте, что настройка вообще применилась.

Одно уточнение, иначе расчёт уедет.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Тема нужная, подписался.

Уточните пару моментов, иначе гадаем.

Начните с малого объёма и растите постепенно.

Проверял на трёх проектах подряд, картина устойчивая.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Это на всех площадках или на одной?

Проверьте, что настройка вообще применилась.

Одно уточнение, иначе расчёт уедет.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Подтверждаю, у нас было ровно то же самое.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Хороший разбор, добавлю в закладки.

Расскажу, чем закончилось у меня.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Начинал с того же, потом переделал.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Если поможет, напишите здесь же, пригодится следующим.