Прокси на сервере рядом с парсером: выигрыш по времени

Хочу разобраться до конца, по верхам уже пробовал.

Коротко об условиях.

Держу пул на 60 адресов, задачи разные, нагрузка неровная. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза.

Хочу понять устройство, а потом уже крутить настройки.

На такой задаче адреса надо держать свои. Общий пул тут подведёт. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру серверные прокси с целыми подсетями и сплю спокойно.

Замерьте и сравните, догадки тут не помогут.

Это верно для одной площадки и неверно для другой.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Разбор годный, спорить не буду.

Так делать можно, но есть путь короче.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Пул под мониторинг и пул под разовый прогон устроены по-разному: первому важна ровность, второму запас по объёму.

Ставьте таймаут, иначе висит вечно.

У коллеги было то же самое, причина оказалась смешной.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Тема как раз вовремя, сам этим занят.

Всё правильно расписано, повторю своими словами.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Добавлю то, что обычно вылезает на второй месяц работы.

Пул под мониторинг и пул под разовый прогон устроены по-разному: первому важна ровность, второму запас по объёму.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Будет результат, напишите сюда.

С выводом соглашусь, с обоснованием нет.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Пишите, если понадобится уточнить.

Проверял на трёх проектах подряд, картина устойчивая.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Пишите, если понадобится уточнить.

На одном проекте это стоило нам сорванного срока.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Отпишитесь, чем закончится, тема полезная.