Как разнести нагрузку по времени суток и снизить отказы

Спрашиваю тех, кто уже упирался в это же.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. В ответе приходит код 200, но вместо содержимого короткая заглушка.

Как считаете вы? Интересует порядок, а не общие слова.

Расскажу, чем закончилось у меня.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Считаю так же, и цифры у меня близкие.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Тема нужная, подписался.

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от приватные серверные прокси закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Начинал с того же, потом переделал.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Логи в помощь, без них это гадание.

Был случай, когда всё сошлось только на третий день разбора.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Держите нас в курсе.

Это на всех площадках или на одной?

Какая версия программы и что с настройками по умолчанию?

Одно уточнение, иначе расчёт уедет.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Полгода назад ловил то же самое.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Долго держал старую схему, пока не упёрся.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Всё верно написали выше, добавлю от себя пару деталей.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Это на всех площадках или на одной?

Уточните пару моментов, иначе гадаем.