Разделы · Лимиты, капчи и отказы
Цифры воспроизводятся, значит это не случайность.
Условия задачи вот такие.
До этого месяц работало ровно, ничего в настройках не менял. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Отказ приходит стабильно, разброс между прогонами не больше десятка запросов.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Как считаете вы? Интересует порядок, а не общие слова.
Работает, пока объём небольшой. Дальше правила другие.
Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Держите запас, ровно по расчёту работать не выйдет.
Уменьшите потоки вдвое и замерьте заново.
Начинал с того же, потом переделал.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.
А что показывают логи в момент падения?
На другой машине воспроизводится?
Одно уточнение, иначе расчёт уедет.
Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests