Сбор данных ночью: меньше отказов или это иллюзия

Спрашиваю тех, кто уже упирался в это же.

Сразу к делу, чтобы не растекаться.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

Может, есть более простой путь, которого я не вижу.

У меня картина совпадает почти полностью.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Считайте по темпу, всё остальное вторично.

Сколько адресов и какой темп при этом стоит?

Тут ничего нового не скажу, только подтвержу.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Проверял это на своей задаче, вывод такой же.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Держите нас в курсе.

Долго держал старую схему, пока не упёрся.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Полгода назад ловил то же самое.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Отпишитесь, чем закончится, тема полезная.