Чем открыть миллион строк

Спрошу без предисловий.

Чтобы вопрос был предметным, вот цифры.

Разово, для одного проекта. Делаю это редко, поэтому и спрашиваю.

Есть мысли, куда копать?

Так и делаю, работает без сюрпризов.

Коротко: считайте по темпу и держите двойной запас.

Смотрите не только число, но и разброс подсетей.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Помню, как искал причину два дня подряд.

Коротко: считайте по темпу и держите двойной запас.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Ловил это дважды, оба раза по разным причинам.

Сохраните сырое, потом пересчитаете как надо.

Проверьте на десятке записей, дальше видно будет.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через серверные адреса IPv4, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Сначала делал так же, потом переделал всё.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Начните с настроек по умолчанию и меняйте по одной.

Отпишитесь, что получилось.

Был случай, когда всё сошлось только на третий день разбора.

Считайте от объёма и окна, остальное следствие.

Разбейте список на равные части по числу потоков, так проще следить.

Уберите лишние потоки, толку от них нет.

Какой объём и за какое окно?

Уточните пару моментов, иначе гадаем.

Сначала делал так же, потом переделал всё.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Одно уточнение, иначе расчёт уедет.

Смотрите не только число, но и разброс подсетей.

Считайте от объёма и окна, остальное следствие.

Не гоните с первого дня, дайте себе запас.

Проверял ровно это, картина совпала.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Пишите, если понадобится уточнить.

Согласен с предыдущим ответом, но с одной оговоркой.

Обычно достаточно того, что уже есть под рукой.

Пары минут на пробу хватит, чтобы понять порядок.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Дополню про случай, когда это перестаёт работать.

Ответ зависит от площадки, universal тут нет.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Держите нас в курсе.

Долго держал старую схему, пока не упёрся.

Начните с настроек по умолчанию и меняйте по одной.

Пишите состояние построчно.