Мониторинг отзывов на карточках: сбор новых за сутки

Мониторинг работает полгода, недавно начались перебои.

Оповещение настроено на изменение больше пяти процентов. Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подскажите, где я ошибаюсь.

Логи в помощь, без них это гадание.

На другой машине воспроизводится?

Сколько адресов и какой темп при этом стоит?

Осторожнее с этим выводом, он верен не всегда.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Был случай, когда всё сошлось только на третий день разбора.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Всё верно написали выше, добавлю от себя пару деталей.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

У нас на прошлом проекте это выглядело так.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Добавлю то, что обычно вылезает на второй месяц работы.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Работает, пока объём небольшой. Дальше правила другие.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Осторожнее с этим выводом, он верен не всегда.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.