ipv4 shared прокси что это и почему на них падает сбор

Прошу совета по расчёту, потому что цифры из статей не сходятся с моими.

Что есть на руках.

Адреса шли подряд одной подсетью, и это оказалось важнее их числа. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Буду признателен за конкретику.

Добавьте адресов, потоки трогать не надо.

Проходил ровно этот путь года полтора назад.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Добавлю про источник. Раньше брал дешёвый общий пул, где адреса шли подряд одним диапазоном, и половина прогонов заканчивалась проверкой на робота. Перешёл на серверные адреса IPv4, и вопрос закрылся сам.

Верно, и это не единичный случай.

Пул под мониторинг и пул под разовый прогон устроены по-разному: первому важна ровность, второму запас по объёму.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Так и есть, проходил через это в прошлом году.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Написано верно, добавить почти нечего.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Так и делаю, работает без сюрпризов.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Начинал с готовых сервисов, потом ушёл на своё.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Пусть висит, такие вопросы всплывают постоянно.

Тут легко перепутать два разных момента.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Есть момент, который меняет всю картину.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Полгода жил с этим, пока не надоело.

Перед покупкой просите тест и гоняйте на нём свою настоящую задачу. Проверка доступности ничего не докажет.

Разбор годный, спорить не буду.

Пара оговорок, без них совет неполный.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.