Сколько адресов нужно на 300 потоков, считаем по темпу

Пробовал два подхода, разница вышла заметная.

Держу пул на 60 адресов, задачи разные, нагрузка неровная. Работаю сразу с двумя поставщиками, сравниваю. Расход трафика неровный, пики приходятся на вторник и четверг.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Подскажите направление, дальше сам.

Добавьте адресов, потоки трогать не надо.

Осторожнее с этим выводом, он верен не всегда.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Половина верна, вторую половину поправлю.

Смешивать задачи на одном пуле можно, но осторожно: тяжёлый прогон съедает лимит, и лёгкая задача рядом начинает ловить отказы.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня прокси IPv4 под сбор данных, два терабайта в месяц уходят незаметно и в счёт не попадают.

Разбейте задачу на части.

Всё сходится с тем, что вижу у себя.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Полгода назад ловил то же самое.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

Присоединяюсь, схема рабочая.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Это на всех площадках или на одной?

Ответ приходит пустой или с содержимым?

Верно, и это не единичный случай.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Замерьте и сравните, догадки тут не помогут.