Ошибка 407 от посредника: авторизация настроена верно

Прогон стабильно падает в одном и том же месте.

Что имеем на входе.

До этого месяц работало ровно, ничего в настройках не менял. В ответе приходит код 200, но вместо содержимого короткая заглушка. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

Может, есть более простой путь, которого я не вижу.

До этого работало? Что менялось перед тем, как сломалось?

Пришёл к этому не сразу, сначала сделал ошибку.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

У нас на прошлом проекте это выглядело так.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Пришёл к этому не сразу, сначала сделал ошибку.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Тут есть тонкость, о которой обычно забывают.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Начинал с того же, потом переделал.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Хороший разбор, добавлю в закладки.

Разбейте прогон на части, станет ровнее.

На другой машине воспроизводится?

На другой машине воспроизводится?

До этого работало? Что менялось перед тем, как сломалось?

Какая версия программы и что с настройками по умолчанию?

Долго держал старую схему, пока не упёрся.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Считайте по темпу, всё остальное вторично.

Пришёл к этому не сразу, сначала сделал ошибку.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Если поможет, напишите здесь же, пригодится следующим.

Смотрите подсети, а не только число адресов.

Добавлю то, что обычно вылезает на второй месяц работы.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.