Как проверять адреса перед прогоном, чтобы не встать на середине

Пробовал два подхода, разница вышла заметная.

Считал по темпу: общий темп прогона делю на допустимый темп на адрес. Адреса шли подряд одной подсетью, и это оказалось важнее их числа.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Может, есть более простой путь, которого я не вижу.

Расскажу, чем закончилось у меня.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

На такой задаче адреса надо держать свои, а не общие. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру приватные прокси IPv4 и SOCKS5 и сплю спокойно.

Поправлю: дело не в объёме, а в темпе.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Держите запас, ровно по расчёту работать не выйдет.

Держите запас, ровно по расчёту работать не выйдет.