Какой софт берёте под разовый сбор на тысячу страниц

Нужен короткий ответ по опыту.

По порядку.

Объём небольшой, разовый. Делаю это редко, поэтому и спрашиваю. Нужно на завтра, потому спрашиваю коротко.

Подскажите, где я ошибаюсь.

Долго держал старую схему, пока не упёрся.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Сколько адресов и какой темп при этом стоит?

Это на всех площадках или на одной?

Проверял это на своей задаче, вывод такой же.

Смотрите не только число, но и разброс подсетей.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Отпишитесь, чем закончится, тема полезная.

Логи в помощь, без них это гадание.

У меня картина совпадает почти полностью.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Разбейте список на равные части по числу потоков, так проще следить.

Отпишитесь, чем закончится, тема полезная.

Начинал с того же, потом переделал.

Коротко: считайте по темпу и держите двойной запас.

Полгода назад ловил то же самое.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Почти так, но одна деталь меняет вывод.

Проверяйте на маленькой выборке, прежде чем запускать всё.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Проверял это на своей задаче, вывод такой же.

Разбейте список на равные части по числу потоков, так проще следить.

Держите запас, ровно по расчёту работать не выйдет.