Какой софт берёте под разовый сбор на тысячу страниц

Нужен короткий ответ.

Из существенного вот это.

Нужно на завтра, потому спрашиваю коротко. Делаю впервые. Небольшой объём, но срочно.

Хочется услышать цифры от практиков.

Первый раз списал на случайность, второй раз уже нет.

Если сомневаетесь, берите меньше и растите.

Что в логах в этот момент?

Прогон падает всегда в одном месте?

Именно так и есть, спорить не о чем.

Обычно достаточно того, что уже есть под рукой.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Отпишитесь, чем закончится, тема полезная.

Проверяйте из той же программы. Браузер показывает своё.

Верно, и это не единичный случай.

Берите с запасом, потом сократите по замеру.

Проверьте на десятке записей, дальше видно будет.

Отпишитесь, чем закончится, тема полезная.

Ловил это дважды, оба раза по разным причинам.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Наступал на это в прошлом сезоне.

Берите с запасом, потом сократите по замеру.

Не совсем так, и разница тут существенная.

Считайте от объёма и окна, остальное следствие.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Именно так и есть, спорить не о чем.

Пары минут на пробу хватит, чтобы понять порядок.

Обновите список адресов и повторите.