Какой таймаут ставите на соединение

Спрошу быстро, вдруг у кого готовый ответ.

Расскажу по порядку.

Объём небольшой, разовый. Небольшой объём, но срочно.

Есть ощущение, что упускаю мелочь.

Дополню про случай, когда это перестаёт работать.

Берите с запасом, потом сократите по замеру.

У меня это вскрылось только на сверке данных.

Сохраните сырое, потом пересчитаете как надо.

Начните с настроек по умолчанию и меняйте по одной.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от прокси IPv4 под сбор данных закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Уменьшите потоки вдвое и замерьте заново.

Это верно для одной площадки и неверно для другой.

Если сомневаетесь, берите меньше и растите.

Проверьте на десятке записей, дальше видно будет.

Пришёл к этому не сразу, сначала сделал ошибку.

Пары минут на пробу хватит, чтобы понять порядок.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Сначала делал так же, потом переделал всё.

Начните с настроек по умолчанию и меняйте по одной.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Совпадает с моим опытом до цифры.

Проверьте на десятке записей, дальше видно будет.

Пусть висит, такие вопросы всплывают постоянно.

Что менялось за последнюю неделю?

Сколько потоков стоит на прогоне?

На другой машине воспроизводится?

Было такое прошлой осенью, разбор занял вечер.

Считайте от объёма и окна, остальное следствие.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Сначала делал так же, потом переделал всё.

Разбейте список на равные части по числу потоков, так проще следить.

Верно, и это не единичный случай.

Проверьте на десятке записей, дальше видно будет.

Пары минут на пробу хватит, чтобы понять порядок.

Считайте по темпу, всё остальное вторично.

Разнесите нагрузку по времени.

Добавьте адресов, потоки трогать не надо.

Присоединяюсь, схема рабочая.

Пары минут на пробу хватит, чтобы понять порядок.