Как проверять полноту мониторинга, а то данные с дырами

Мониторинг работает полгода, недавно начались перебои.

Опишу как есть.

Список карточек меняется каждую неделю. Проверок в сутки около полумиллиона. Разложил проверки по часам, нагрузка стала ровнее.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Хочу понять устройство, а потом уже крутить настройки.

Проверял это на своей задаче, вывод такой же.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Какая версия программы и что с настройками по умолчанию?

Это на всех площадках или на одной?

Был похожий случай, разбирали неделю.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Прочитал и узнал свой прошлый год.

Расход считайте по числу проверок в сутки. Число товаров тут другая величина. Это разные величины.

Держите нас в курсе.

Тот же вывод, только я шёл к нему дольше.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Есть возможность повторить прогон и сравнить?

Что показывает простой запрос из консоли?

Проверял на трёх проектах подряд, картина устойчивая.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Присоединяюсь, схема рабочая.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Разбейте прогон на части, станет ровнее.

Сохраняйте сырое, пересчитать успеете.

Ставьте таймаут, иначе висит вечно.

Какая версия программы стоит?

Прогон падает всегда в одном месте?

Ровно то же наблюдал, только объёмы были поменьше.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Это началось после какого-то изменения?

Это на всех площадках или на одной?