Прокси для парсинга: какой пул считается достаточным

Прошу совета по расчёту, потому что цифры из статей не сходятся с моими.

Даю всё, что есть, вдруг зацепитесь за деталь.

Проверял скорость до покупки, на прогоне цифры оказались другими. Пинг до адресов около 40 миллисекунд, но на длинном прогоне это почти не сказалось. Адреса шли подряд одной подсетью, и это оказалось важнее их числа.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Может, есть более простой путь, которого я не вижу.

Почти так, но одна деталь меняет вывод.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

У нас на прошлом проекте это выглядело так.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Логи в помощь, без них это гадание.

Проверял на трёх проектах подряд, картина устойчивая.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Тут есть тонкость, о которой обычно забывают.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Если поможет, напишите здесь же, пригодится следующим.

Был случай, когда всё сошлось только на третий день разбора.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.