Как считать расход адресов на разовый большой прогон

Работаю с адресами давно, но этот момент до конца не понял.

Пинг до адресов около 40 миллисекунд, но на длинном прогоне это почти не сказалось. При 300 потоках на 30 адресах проверки начались через двадцать минут. Считал по темпу: общий темп прогона делю на допустимый темп на адрес.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Кто сталкивался, поделитесь опытом.

Долго держал старую схему, пока не упёрся.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тут ничего нового не скажу, только подтвержу.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Разбейте прогон на части, станет ровнее.

Уменьшите потоки вдвое и замерьте заново.

Тут ничего нового не скажу, только подтвержу.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.