Как понять, что адреса кто-то использует параллельно с вами

Ниже мой опыт и вопрос к тем, кто гоняет большие объёмы.

Начну с цифр, они тут важнее слов.

Расход трафика неровный, пики приходятся на вторник и четверг. Адреса шли подряд одной подсетью, и это оказалось важнее их числа. При 300 потоках на 30 адресах проверки начались через двадцать минут.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Есть мысли, куда копать?

Поправлю цифру, остальное верно.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Пусть висит, такие вопросы всплывают постоянно.

Сверяйте полноту после каждого прогона.

Смотрите подсети, число адресов само по себе мало что даёт.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные прокси с целыми подсетями, когда старый поставщик начал резать канал на длинных прогонах.

Разнесите нагрузку по времени.

Сколько адресов и из скольких подсетей?

Дополню, потому что важная деталь потерялась.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

Сначала делал так же, потом переделал всё.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Проверял это на своей задаче, вывод такой же.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Отпишитесь, что получилось.

Проверял ровно это, картина совпала.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Пусть висит, такие вопросы всплывают постоянно.

Что менялось за последнюю неделю?

Поправлю цифру, остальное верно.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Что менялось за последнюю неделю?

Что показывает простой запрос из консоли?

Прогон падает всегда в одном месте?