Парсинг google maps: сбор организаций по городу встал на 200 записей

Прогон большой, машина не слабая, а результат странный.

Сразу к делу, чтобы не растекаться.

Каталог на 400 тысяч адресов, память на машине 32 гигабайта. Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие. Данные собираются, но при сверке не хватает примерно пятнадцати процентов записей.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Подскажите, где я ошибаюсь.

Считайте по темпу, всё остальное вторично.

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от адреса с безлимитным трафиком закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

У меня картина совпадает почти полностью.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Держите нас в курсе.

Всё верно написали выше, добавлю от себя пару деталей.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Отпишитесь, чем закончится, тема полезная.

Тут легко перепутать два разных момента.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Проверял это на своей задаче, вывод такой же.

Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Расскажу, чем закончилось у меня.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Согласен с предыдущим ответом, но с одной оговоркой.

Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Считайте по темпу, всё остальное вторично.

Одно уточнение, иначе расчёт уедет.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Почти так, но одна деталь меняет вывод.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хороший разбор, добавлю в закладки.

Согласен с предыдущим ответом, но с одной оговоркой.

Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Проверял на трёх проектах подряд, картина устойчивая.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту, а не полдня.

Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Долго держал старую схему, пока не упёрся.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Память ест не число потоков, а хранение всего собранного в памяти до конца прогона. Пишите результат на диск пачками, и потолок пропадёт.

Хороший разбор, добавлю в закладки.

На другой машине воспроизводится?

На другой машине воспроизводится?

Какая версия программы и что с настройками по умолчанию?