ipv4 shared прокси что это и почему на них падает сбор

Работаю с адресами давно, но этот момент до конца не понял.

Условия задачи вот такие.

Проверял скорость до покупки, на прогоне цифры оказались другими. При 300 потоках на 30 адресах проверки начались через двадцать минут.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Подскажите, где я ошибаюсь.

Смотрите подсети, а не только число адресов.

Проверял на трёх проектах подряд, картина устойчивая.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Добавлю про источник. Раньше брал дешёвый общий пул, где адреса шли подряд одним диапазоном, и половина прогонов заканчивалась проверкой на робота. Перешёл на серверные адреса IPv4, и вопрос закрылся сам.

У меня картина совпадает почти полностью.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Всё верно написали выше, добавлю от себя пару деталей.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Всё верно написали выше, добавлю от себя пару деталей.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Так и есть, проходил через это в прошлом году.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Начинал с того же, потом переделал.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Тема нужная, подписался.

Поправлю: дело не в объёме, а в темпе.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Одно уточнение, иначе расчёт уедет.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Пришёл к этому не сразу, сначала сделал ошибку.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Хороший разбор, добавлю в закладки.

Почти так, но одна деталь меняет вывод.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.