Прогон встал: адреса живые, ответы пустые

Отказы пошли внезапно, до этого месяц всё было ровно.

Сначала обстановка, вопрос в конце.

Часть адресов проходит спокойно, часть ловит проверку с первых минут. До этого месяц работало ровно, ничего в настройках не менял.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Как считаете вы? Интересует порядок, а не общие слова.

Расскажу, чем закончилось у меня.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Считаю так же, и цифры у меня близкие.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Так и есть, проходил через это в прошлом году.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Разбейте прогон на части, станет ровнее.