Прокси под сбор данных с безлимитным трафиком, кто на чём сидит

Прошу совета по расчёту, потому что цифры из статей не сходятся с моими.

Держу пул на 60 адресов, задачи разные, нагрузка неровная. Проверял скорость до покупки, на прогоне цифры оказались другими. Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Как считаете вы? Интересует порядок, а не общие слова.

Долго держал старую схему, пока не упёрся.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Какая версия программы и что с настройками по умолчанию?

Уточните пару моментов, иначе гадаем.

Одно уточнение, иначе расчёт уедет.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Если поможет, напишите здесь же, пригодится следующим.

Так и есть, проходил через это в прошлом году.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Смотрите подсети, а не только число адресов.

Считаю так же, и цифры у меня близкие.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Хороший разбор, добавлю в закладки.

Долго держал старую схему, пока не упёрся.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Уменьшите потоки вдвое и замерьте заново.

Почти так, но одна деталь меняет вывод.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

У меня картина совпадает почти полностью.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Считайте по темпу, всё остальное вторично.

Тут ничего нового не скажу, только подтвержу.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Если поможет, напишите здесь же, пригодится следующим.

У меня картина совпадает почти полностью.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Хороший разбор, добавлю в закладки.