Прокси для парсинга: какой пул считается достаточным

Пробовал два подхода, разница вышла заметная.

Чтобы было понятно, с чем работаю.

Проверял скорость до покупки, на прогоне цифры оказались другими. Работаю сразу с двумя поставщиками, сравниваю. Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Правильно ли я вообще ставлю вопрос?

Пара оговорок, без них совет неполный.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

У нас на прошлом проекте это выглядело так.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Проверяйте из той же программы. Браузер показывает своё.

Помню, как искал причину два дня подряд.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Поправлю: дело в темпе, объём тут вторичен.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тема на будущее пригодится многим.

Опишу свой случай, вдруг совпадёт.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.