Сколько адресов держите на съём позиций и сколько на парсинг

Считал сам, получил странное, перепроверьте.

Пара цифр для понимания.

Пинг до адресов около 40 миллисекунд, но на длинном прогоне это почти не сказалось. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Расход трафика неровный, пики приходятся на вторник и четверг.

Как считаете вы? Интересует порядок действий.

Начинал с готовых сервисов, потом ушёл на своё.

Перед покупкой просите тест и гоняйте на нём свою настоящую задачу. Проверка доступности ничего не докажет.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Один момент упущен, и он важный.

Пинг смотрите последним. На длинном прогоне сорок миллисекунд разницы теряются в паузах между запросами.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Скорость решает не всё, но и терять её не хочется. Я перешёл на приватные прокси IPv4 и SOCKS5, когда старый поставщик начал резать канал на длинных прогонах.

Держите запас, впритык не работает.

Разбейте прогон на части, станет ровнее.

У нас похожая история была весной.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Пул под мониторинг и пул под разовый прогон устроены по-разному: первому важна ровность, второму запас по объёму.

Расскажу, чем закончилось у меня.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.