Ротация адресов по кругу против случайной: что показало сравнение

Вопрос простой на вид, а ответы у всех разные.

Опишу по порядку, что есть и чего не хватает.

Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. При 300 потоках на 30 адресах проверки начались через двадцать минут. Считал по темпу: общий темп прогона делю на допустимый темп на адрес.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Подскажите, где я ошибаюсь.

На другой машине воспроизводится?

Проверьте, что настройка вообще применилась.

Проверял на трёх проектах подряд, картина устойчивая.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватные прокси IPv4 и SOCKS5, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Логи в помощь, без них это гадание.

Долго держал старую схему, пока не упёрся.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тема нужная, подписался.

Проверьте, что настройка вообще применилась.

Держите запас, ровно по расчёту работать не выйдет.

Подтверждаю, у нас было ровно то же самое.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Осторожнее с этим выводом, он верен не всегда.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Логи в помощь, без них это гадание.

Тут легко перепутать два разных момента.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Всё верно написали выше, добавлю от себя пару деталей.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Если поможет, напишите здесь же, пригодится следующим.