Лимит запросов на адрес: как его нащупать без потерь

Разбираю поведение площадки и хочу сверить наблюдения.

Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. Площадка ведёт себя по-разному в будни и выходные. До этого месяц работало ровно, ничего в настройках не менял.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Что тут вообще считается нормой?

Проходил ровно этот путь года полтора назад.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.

Начните с малого объёма и растите постепенно.

Сначала логи, потом версии.

Ставьте таймаут, иначе висит вечно.

Был похожий случай, разбирали неделю.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

Дополню, потому что важная деталь потерялась.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Сохранил, пригодится в следующем проекте.

Помню, как искал причину два дня подряд.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Прочитал и узнал свой прошлый год.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Ловил это дважды, оба раза по разным причинам.

Заголовки трогайте в последнюю очередь. Чаще всего проблема в темпе. То, как вы представляетесь, влияет слабо.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Проверяйте из той же программы. Браузер показывает своё.