Чем открыть миллион строк

Нужен короткий ответ по опыту.

Расклад такой.

Нужно на завтра, потому спрашиваю коротко. Объём небольшой, разовый.

Кто как это обходит?

Так и есть, проходил через это в прошлом году.

Коротко: считайте по темпу и держите двойной запас.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Проверял на трёх проектах подряд, картина устойчивая.

Коротко: считайте по темпу и держите двойной запас.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Начинал с того же, потом переделал.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Разбейте список на равные части по числу потоков, так проще следить.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через серверные адреса IPv4, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Был случай, когда всё сошлось только на третий день разбора.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Смотрите не только число, но и разброс подсетей.

Если поможет, напишите здесь же, пригодится следующим.

Расскажу, чем закончилось у меня.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Коротко: считайте по темпу и держите двойной запас.

Уменьшите потоки вдвое и замерьте заново.

Сколько адресов и какой темп при этом стоит?

Уточните пару моментов, иначе гадаем.

Был случай, когда всё сошлось только на третий день разбора.

Коротко: считайте по темпу и держите двойной запас.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Тут есть тонкость, о которой обычно забывают.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

Проверяйте на маленькой выборке, прежде чем запускать всё.

Держите запас, ровно по расчёту работать не выйдет.

Проверял это на своей задаче, вывод такой же.

Коротко: считайте по темпу и держите двойной запас.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Хороший разбор, добавлю в закладки.

Считаю так же, и цифры у меня близкие.

Смотрите не только число, но и разброс подсетей.

Обычно хватает тридцати секунд на соединение и шестидесяти на ответ.

curl -s -o /dev/null -w "%{http_code} %{time_total}\n" -x $ADRES https://example.org/

Добавлю то, что обычно вылезает на второй месяц работы.

Разбейте список на равные части по числу потоков, так проще следить.

Коротко: считайте по темпу и держите двойной запас.

Отпишитесь, чем закончится, тема полезная.

Расскажу, чем закончилось у меня.

Смотрите не только число, но и разброс подсетей.

Уменьшите потоки вдвое и замерьте заново.