Прокси под сбор данных с безлимитным трафиком, кто на чём сидит

Ниже мой опыт и вопрос к тем, кто гоняет большие объёмы.

Считал по темпу: общий темп прогона делю на допустимый темп на адрес. Адреса шли подряд одной подсетью, и это оказалось важнее их числа. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Хочется услышать цифры от практиков.

Проверял на четырёх проектах, вывод один.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Проверяли на маленькой выборке?

А что показывают логи в момент падения?

Уточню, иначе можно уйти не в ту сторону.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Интересно, чем закончится.

Верно по сути, дальше нюансы.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Добавьте адресов, потоки трогать не надо.

Подтверждаю, у нас было ровно то же самое.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Тема как раз вовремя, сам этим занят.

Проверял на четырёх проектах, вывод один.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Ставьте паузу с разбросом, не ровную.

Не совсем так, и разница тут существенная.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тот же вывод, только я шёл к нему дольше.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Считайте по темпу, всё остальное вторично.

Всё правильно расписано, повторю своими словами.

Пинг смотрите последним. На длинном прогоне сорок миллисекунд разницы теряются в паузах между запросами.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Отпишитесь, что получилось.

Всё сходится с тем, что вижу у себя.

Пинг смотрите последним. На длинном прогоне сорок миллисекунд разницы теряются в паузах между запросами.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Сохранил, пригодится в следующем проекте.