Screaming Frog падает на 400 тысячах

Пробовал три варианта, ни один не устроил до конца.

Коротко об условиях.

На маленьком объёме всё работает, разница начинается после ста тысяч. Пробовал разбивать список на части по пятьдесят тысяч, стало ровнее. Проверял на двух версиях программы, поведение одинаковое.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Буду признателен за конкретику.

Проверял на трёх проектах подряд, картина устойчивая.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Пул под такие объёмы держу постоянный. Беру адреса IPv4 и SOCKS5 без лимита по трафику, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Полгода назад ловил то же самое.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Долго держал старую схему, пока не упёрся.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

У нас на прошлом проекте это выглядело так.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Уменьшите потоки вдвое и замерьте заново.

Уменьшите потоки вдвое и замерьте заново.

Считаю так же, и цифры у меня близкие.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Проверьте, что настройка вообще применилась.

Считаю так же, и цифры у меня близкие.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Отпишитесь, чем закончится, тема полезная.

Считайте по темпу, всё остальное вторично.