Разделы · Лимиты, капчи и отказы
Цифры воспроизводятся, значит это не случайность.
Часть адресов проходит спокойно, часть ловит проверку с первых минут. В ответе приходит код 200, но вместо содержимого короткая заглушка.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Подскажите, где я ошибаюсь.
Расскажу, чем закончилось у меня.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.
Тут легко перепутать два разных момента.
После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.
Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.
Пул под такие объёмы держу постоянный. Беру серверные прокси с целыми подсетями, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Держите запас, ровно по расчёту работать не выйдет.
Держите запас, ровно по расчёту работать не выйдет.
А что показывают логи в момент падения?
Уменьшите потоки вдвое и замерьте заново.