Ротация адресов по кругу против случайной: что показало сравнение

Работаю с адресами давно, но этот момент до конца не понял.

Ниже вводные, дальше сам вопрос.

Пул на 120 адресов, четыре подсети. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Проверял скорость до покупки, на прогоне цифры оказались другими.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Может, есть путь проще, которого я не вижу.

Сколько адресов и из скольких подсетей?

Смотрите разброс подсетей.

Проходил ровно этот путь года полтора назад.

Пинг смотрите последним. На длинном прогоне сорок миллисекунд разницы теряются в паузах между запросами.

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватные прокси IPv4 и SOCKS5, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Сначала логи, потом версии.

Первый раз списал на случайность, второй раз уже нет.

Перед покупкой просите тест и гоняйте на нём свою настоящую задачу. Проверка доступности ничего не докажет.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Пусть висит, такие вопросы всплывают постоянно.

Разнесите нагрузку по времени.

Обновите список адресов и повторите.

Так и есть, проходил через это в прошлом году.

Смешивать задачи на одном пуле можно, но осторожно: тяжёлый прогон съедает лимит, и лёгкая задача рядом начинает ловить отказы.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Это верно для одной площадки и неверно для другой.

Смешивать задачи на одном пуле можно, но осторожно: тяжёлый прогон съедает лимит, и лёгкая задача рядом начинает ловить отказы.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Сверяйте полноту после каждого прогона.

Уточнение по мелочи, но она стоит времени.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Написано верно, добавить почти нечего.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Интересно, чем закончится.