Разделы · Лимиты, капчи и отказы
Пишу с логами, чтобы разговор был предметным.
До этого месяц работало ровно, ничего в настройках не менял. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Подскажите, где я ошибаюсь.
Всё верно написали выше, добавлю от себя пару деталей.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Тема нужная, подписался.
Осторожнее с этим выводом, он верен не всегда.
Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Держите нас в курсе.
Согласен с предыдущим ответом, но с одной оговоркой.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Пришёл к этому не сразу, сначала сделал ошибку.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Держите запас, ровно по расчёту работать не выйдет.
Разбейте прогон на части, станет ровнее.
Почти так, но одна деталь меняет вывод.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Долго держал старую схему, пока не упёрся.
Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.
Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.
Проверьте, что настройка вообще применилась.
До этого работало? Что менялось перед тем, как сломалось?
У нас на прошлом проекте это выглядело так.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
У нас на прошлом проекте это выглядело так.
Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests