Парсер яндекс карт: организации дублируются в выгрузке

До вчерашнего дня всё шло ровно, потом началось.

Постараюсь коротко.

Прогон рассчитан на восемь часов, встаёт примерно на середине. Три машины, на каждой своя часть списка. Список на 120 тысяч адресов, окно на прогон шесть часов.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Буду рад и короткому ответу.

Что менялось за последнюю неделю?

Пробовали на другой машине?

Присоединяюсь, схема рабочая.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Тема на будущее пригодится многим.

Почти так, но одна деталь меняет вывод.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Поправлю цифру, остальное верно.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

На всех площадках или на одной конкретной?

Мы держали старую схему год, зря.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Добавлю то, что обычно вылезает на второй месяц работы.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Работает, пока объём небольшой. Дальше правила другие.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

Так и делаю, работает без сюрпризов.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Одно уточнение, иначе расчёт уедет.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.

Хороший разбор, добавлю в закладки.