Как разнести нагрузку по времени суток и снизить отказы

Разбираюсь с поведением площадки, есть наблюдения.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Доля отказов около трёх процентов, но растёт. После получаса простоя адреса возвращаются в работу сами.

Хочется услышать цифры от практиков.

Долго держал старую схему, пока не упёрся.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Всё верно написали выше, добавлю от себя пару деталей.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Пусть висит, такие вопросы всплывают постоянно.

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от приватные серверные прокси закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Мы держали старую схему год, зря.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Разбейте задачу на части.

У коллеги было то же самое, причина оказалась смешной.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Спасибо за подробное описание, так отвечать проще.

Сколько это длится и с какой частотой повторяется?

Что показывает простой запрос из консоли?

На маленьких объёмах верно, на больших уже нет.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

Расскажу, как выкручивались мы.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

До сих пор помню, чем это закончилось.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Так и есть, проходил через это в прошлом году.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Данные теряются равномерно или кусками?

На другой машине воспроизводится?