Как считать безопасный темп запросов и откуда брать первую точку отсчёта

Отказы пошли внезапно, до этого месяц всё было ровно.

До этого месяц работало ровно, ничего в настройках не менял. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Подскажите, где я ошибаюсь.

Первый раз списал на случайность, второй раз уже нет.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Ставьте таймаут, иначе висит вечно.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на приватные серверные прокси и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Не совсем так, и разница тут существенная.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Проверял это на своей задаче, вывод такой же.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.

Такие темы и держат форум.

Начинал с того же, потом переделал.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests