Сколько хранить сырые данные

Нужен короткий ответ по опыту.

Чтобы вопрос был предметным, вот цифры.

Объём небольшой, разовый. Нужно на завтра, потому спрашиваю коротко.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Кто как это обходит?

Расскажу, чем закончилось у меня.

Смотрите не только число, но и разброс подсетей.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Держите запас, ровно по расчёту работать не выйдет.

Уменьшите потоки вдвое и замерьте заново.

Уточните пару моментов, иначе гадаем.

Считайте по темпу, всё остальное вторично.

Это на всех площадках или на одной?

А что показывают логи в момент падения?

Так и есть, проходил через это в прошлом году.

Смотрите не только число, но и разброс подсетей.

Уменьшите потоки вдвое и замерьте заново.

Проверял это на своей задаче, вывод такой же.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Всё верно написали выше, добавлю от себя пару деталей.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

До этого работало? Что менялось перед тем, как сломалось?

На другой машине воспроизводится?

У нас на прошлом проекте это выглядело так.

Разбейте список на равные части по числу потоков, так проще следить.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Смотрите подсети, а не только число адресов.

Считайте по темпу, всё остальное вторично.

У меня картина совпадает почти полностью.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Если поможет, напишите здесь же, пригодится следующим.