Как проверять полноту мониторинга, а то данные с дырами

Мониторинг работает полгода, недавно начались перебои.

Сначала обстановка, вопрос в конце.

Оповещение настроено на изменение больше пяти процентов. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Хочется услышать цифры от практиков.

Подтверждаю, у нас было ровно то же самое.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Проверял на трёх проектах подряд, картина устойчивая.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Так и есть, проходил через это в прошлом году.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Отпишитесь, чем закончится, тема полезная.

У меня картина совпадает почти полностью.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

До этого работало? Что менялось перед тем, как сломалось?

Какая версия программы и что с настройками по умолчанию?

У нас на прошлом проекте это выглядело так.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Согласен с предыдущим ответом, но с одной оговоркой.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Считайте по темпу, всё остальное вторично.

Начните с малого объёма и растите постепенно.

Начните с малого объёма и растите постепенно.

Какая версия программы и что с настройками по умолчанию?

Это на всех площадках или на одной?

Всё верно написали выше, добавлю от себя пару деталей.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Сколько адресов и какой темп при этом стоит?

А что показывают логи в момент падения?