Сколько адресов нужно на 300 потоков, считаем по темпу

Прошу совета по расчёту, потому что цифры из статей не сходятся с моими.

Держу пул на 60 адресов, задачи разные, нагрузка неровная. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Пинг до адресов около 40 миллисекунд, но на длинном прогоне это почти не сказалось.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Хочется услышать цифры от практиков.

Смотрите подсети, а не только число адресов.

Поправлю: дело не в объёме, а в темпе.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Работает, пока объём небольшой. Дальше правила другие.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня прокси IPv4 под сбор данных, два терабайта в месяц уходят незаметно и в счёт не попадают.

Логи в помощь, без них это гадание.

У меня картина совпадает почти полностью.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

У нас на прошлом проекте это выглядело так.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Согласен с предыдущим ответом, но с одной оговоркой.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

А что показывают логи в момент падения?

На другой машине воспроизводится?

У меня картина совпадает почти полностью.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Смотрите подсети, а не только число адресов.