Сколько ждать после 429, чтобы адрес вернулся в работу

Ниже что вижу, и вопрос, что с этим делать.

Доля отказов около трёх процентов, но растёт. После получаса простоя адреса возвращаются в работу сами. Прогон идёт восемь часов, отказы начинаются на пятом.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Подскажите, где я ошибаюсь.

Есть момент, который меняет всю картину.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

Что в логах в этот момент?

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные адреса IPv4 как раз поэтому.

Сверяйте полноту после каждого прогона.

Одно уточнение, иначе расчёт уедет.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Схема рабочая, но у неё есть предел.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Согласен целиком, добавлю только цифру.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Долго держал старую схему, пока не упёрся.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

На маленьких объёмах верно, на больших уже нет.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Прочитал и узнал свой прошлый год.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Хороший разбор, добавлю в закладки.

Тут ничего нового не скажу, только подтвержу.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

Есть момент, который меняет всю картину.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Что менялось за последнюю неделю?