Скорость сбора против числа отказов: где точка равновесия

Пишу с логами, чтобы разговор был предметным.

Обстановка простая, а ответа не нахожу.

До этого месяц работало ровно, ничего в настройках не менял. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

Может, есть более простой путь, которого я не вижу.

Осторожнее с этим выводом, он верен не всегда.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Тут есть тонкость, о которой обычно забывают.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

У меня картина совпадает почти полностью.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Держите нас в курсе.

Полгода назад ловил то же самое.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Держите запас, ровно по расчёту работать не выйдет.

Поправлю: дело не в объёме, а в темпе.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Начинал с того же, потом переделал.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Расскажу, чем закончилось у меня.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Держите нас в курсе.

Какая версия программы и что с настройками по умолчанию?

Логи в помощь, без них это гадание.

Сколько адресов и какой темп при этом стоит?

Уточните пару моментов, иначе гадаем.