Сборщик на Node против питона по скорости на 100 тысячах адресов

Софт менял трижды, вопрос остался.

Три машины, на каждой своя часть списка. Каталог на 400 тысяч адресов, память на машине 32 гигабайта.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Если у кого есть цифры, покажите.

Пришёл к этому не сразу, сначала сделал ошибку.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Это началось после какого-то изменения?

С выводом соглашусь, с обоснованием нет.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Если найдёте причину, поделитесь.

Проверял на четырёх проектах, вывод один.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

Проходил ровно этот путь года полтора назад.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Это началось после какого-то изменения?

У меня это вскрылось только на сверке данных.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Если найдёте причину, поделитесь.

Плюсую, сам пришёл к тому же через полгода проб.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

Добавлю тему в закладки.

Проверьте, что настройка вообще применилась.

Пишите состояние построчно.

Совпадает с моим опытом до цифры.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

Согласен с предыдущим ответом, но с одной оговоркой.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Мы упирались в то же, пока не поменяли подход.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

Будет результат, напишите сюда.

Разбирались втроём, нашли случайно.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.