Как считать безопасный темп запросов и откуда брать первую точку отсчёта

Отказы пошли внезапно, до этого месяц всё было ровно.

До этого месяц работало ровно, ничего в настройках не менял. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Как считаете вы? Интересует порядок, а не общие слова.

Долго держал старую схему, пока не упёрся.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Начните с малого объёма и растите постепенно.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на приватные серверные прокси и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Почти так, но одна деталь меняет вывод.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Подтверждаю, у нас было ровно то же самое.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Хороший разбор, добавлю в закладки.

Расскажу, чем закончилось у меня.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests