Разделы · Лимиты, капчи и отказы
Ниже что вижу, и вопрос, что с этим делать.
Начну с цифр, они тут важнее слов.
Часть адресов проходит спокойно, часть ловит проверку с первых минут. До этого месяц работало ровно, ничего в настройках не менял. Отказ приходит стабильно, разброс между прогонами не больше десятка запросов.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Может, есть более простой путь, которого я не вижу.
А что показывают логи в момент падения?
Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на приватные прокси IPv4 и SOCKS5 и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.
Так и есть, проходил через это в прошлом году.
Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.
Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.
Всё верно написали выше, добавлю от себя пару деталей.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.
Держите нас в курсе.
У меня картина совпадает почти полностью.
Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.
Расскажу, чем закончилось у меня.
Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Тема нужная, подписался.
Так и есть, проходил через это в прошлом году.
Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.