Отказы пошли пачкой после смены времени прогона

Отказы пошли внезапно, до этого месяц всё было ровно.

Ниже вводные, дальше сам вопрос.

Доля отказов около трёх процентов, но растёт. В ответе приходит код 200, но вместо содержимого короткая заглушка. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

Интересно, как это решают у вас.

На одном проекте это стоило нам сорванного срока.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Слежу за темой.

Смотрите разброс подсетей.

Ровно то же наблюдал, только объёмы были поменьше.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

У нас это вылезло на проекте с большим каталогом.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Полгода назад ловил то же самое.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Тема как раз вовремя, сам этим занят.

Помню, как искал причину два дня подряд.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Жду продолжения.

Опишу свой случай, вдруг совпадёт.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Какой объём и за какое окно?

Обновите список адресов и повторите.

Поправлю цифру, остальное верно.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Так и есть, проходил через это в прошлом году.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

Интересно, чем закончится.

Дополню про случай, когда это перестаёт работать.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.