Сколько потоков ставить на старте, если не знаешь площадку

Вопрос простой, но хочется услышать, как у других.

Делаю это редко, поэтому и спрашиваю. Объём небольшой, разовый.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Кто сталкивался, поделитесь опытом.

Это на всех площадках или на одной?

Проверить это можно бесплатно: у серверные прокси с целыми подсетями есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Подтверждаю, у нас было ровно то же самое.

Коротко: считайте по темпу и держите двойной запас.

Уменьшите потоки вдвое и замерьте заново.

Логи в помощь, без них это гадание.

Расскажу, чем закончилось у меня.

Разбейте список на равные части по числу потоков, так проще следить.

Смотрите не только число, но и разброс подсетей.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Поправлю: дело не в объёме, а в темпе.

Разбейте список на равные части по числу потоков, так проще следить.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Логи в помощь, без них это гадание.

У нас на прошлом проекте это выглядело так.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Разбейте список на равные части по числу потоков, так проще следить.

Тут есть тонкость, о которой обычно забывают.

Разбейте список на равные части по числу потоков, так проще следить.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Считайте по темпу, всё остальное вторично.

До этого работало? Что менялось перед тем, как сломалось?

Уменьшите потоки вдвое и замерьте заново.

Работает, пока объём небольшой. Дальше правила другие.

Разбейте список на равные части по числу потоков, так проще следить.

Расскажу, чем закончилось у меня.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Разбейте список на равные части по числу потоков, так проще следить.

Пришёл к этому не сразу, сначала сделал ошибку.

Коротко: считайте по темпу и держите двойной запас.

Разбейте список на равные части по числу потоков, так проще следить.