Пинг до адреса 200 миллисекунд: критично ли для сбора

Считал сам, получил странное, перепроверьте.

Вводные, чтобы не гадать.

Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Держу пул на 60 адресов, задачи разные, нагрузка неровная.

Буду признателен за конкретику.

Один момент упущен, и он важный.

Одинаковые адреса у двух исполнителей это верный способ получить отказы у обоих. Пул должен быть свой.

Будет результат, напишите сюда.

Пробовали снизить темп вдвое?

Что в логах в этот момент?

Что показывает простой запрос из консоли?

Мы решили это переносом прогона на другое время.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Пишите, если понадобится уточнить.

У нас похожая история была весной.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Тот же вывод, только я шёл к нему дольше.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Осторожнее с этим выводом, он верен не всегда.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Считайте по темпу, всё остальное вторично.

У нас это вылезло на проекте с большим каталогом.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Пробовали на другой машине?

Есть возможность повторить прогон и сравнить?

Мы держали старую схему год, зря.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Сколько это длится и с какой частотой повторяется?