Лимит запросов на адрес: как его нащупать без потерь

Отказы пошли внезапно, до этого месяц всё было ровно.

В ответе приходит код 200, но вместо содержимого короткая заглушка. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. До этого месяц работало ровно, ничего в настройках не менял.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Хочется услышать цифры от практиков.

Проверял на трёх проектах подряд, картина устойчивая.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Разбейте прогон на части, станет ровнее.

Уменьшите потоки вдвое и замерьте заново.

Начните с малого объёма и растите постепенно.

Проверял на трёх проектах подряд, картина устойчивая.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Почти так, но одна деталь меняет вывод.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Хороший разбор, добавлю в закладки.

Проверял на трёх проектах подряд, картина устойчивая.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Так и есть, проходил через это в прошлом году.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Начинал с того же, потом переделал.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Логи в помощь, без них это гадание.