Тест адресов перед оплатой: за что успеваете зацепиться

Считаю пул под задачу и хочу сверить расчёт с практикой.

Обстановка вот такая.

При 300 потоках на 30 адресах проверки начались через двадцать минут. Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Пул на 120 адресов, четыре подсети.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Кто сталкивался, поделитесь опытом.

Ставьте таймаут, иначе висит вечно.

Был похожий случай, разбирали неделю.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Начните с малого объёма и растите постепенно.

Проверяли на маленькой выборке?

Тут стоит разделить два вопроса, их часто путают.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Не совсем так, и разница тут существенная.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

Что менялось за последнюю неделю?

До этого работало? Что менялось перед тем, как сломалось?

Было такое прошлой осенью, разбор занял вечер.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.

Смешивать задачи на одном пуле можно, но осторожно: тяжёлый прогон съедает лимит, и лёгкая задача рядом начинает ловить отказы.

Считайте по темпу, всё остальное вторично.

Тот же вывод, только я шёл к нему дольше.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Что в логах в этот момент?

Сколько потоков стоит на прогоне?

Логи в помощь, без них это гадание.