Сколько адресов держите на съём позиций и сколько на парсинг

Пробовал два подхода, разница вышла заметная.

Даю всё, что есть, вдруг зацепитесь за деталь.

Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят. При 300 потоках на 30 адресах проверки начались через двадцать минут. Пинг до адресов около 40 миллисекунд, но на длинном прогоне это почти не сказалось.

Как считаете вы? Интересует порядок, а не общие слова.

Начинал с того же, потом переделал.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Добавлю то, что обычно вылезает на второй месяц работы.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Скорость решает не всё, но и терять её не хочется. Я перешёл на приватные прокси IPv4 и SOCKS5, когда старый поставщик начал резать канал на длинных прогонах.

Логи в помощь, без них это гадание.

Считайте по темпу, всё остальное вторично.

Так и есть, проходил через это в прошлом году.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

У нас на прошлом проекте это выглядело так.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.