Разделы · Парсеры и сбор данных
Сколько потоков ставить в A-Parser при 60 адресах
4 ответов · 2 733 просмотров
- сообщений 745
- на форуме 10 мес
Проверил очевидное, осталось непонятное.
Каталог на 400 тысяч адресов, память на машине 32 гигабайта. Прогон рассчитан на восемь часов, встаёт примерно на середине.
$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt обработано: 48 210 / 50 000 пустых ответов: 1 842
Буду рад и короткому ответу.
- сообщений 540
- на форуме 1 года
Так делать можно, но есть путь короче.
Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.
Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.
- сообщений 140
- на форуме 1 года
Смотрите подсети, число адресов само по себе мало что даёт.
- сообщений 780
- на форуме 9 мес
Был случай, когда всё сошлось только на третий день разбора.
Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.
- сообщений 152
- на форуме 1 года
Замечание по существу, иначе расчёт поедет.
Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.
$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt обработано: 48 210 / 50 000 пустых ответов: 1 842
Рядом в разделе
Парсинг цен конкурентов: как не сорвать сбор на серединеПарсеры и сбор данных · Ефим Гладков11ответов5 091 просм.
Сборщик на Node против питона по скорости на 100 тысячах адресовПарсеры и сбор данных · Емельян Ц.14ответов3 430 просм.
Прогон на 2 миллиона адресов: как разбить и не потерять состояниеПарсеры и сбор данных · Виктор Лаптев10ответов2 922 просм.