Мониторинг цен на своей же продукции у дилеров

Ниже как настроено сейчас, и что смущает.

Чтобы вопрос был предметным, вот цифры.

Разложил проверки по часам, нагрузка стала ровнее. Оповещение настроено на изменение больше пяти процентов. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Может, есть путь проще, которого я не вижу.

Дополню, потому что важная деталь потерялась.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Держите нас в курсе.

Это началось после какого-то изменения?

Это следствие, а причина лежит глубже.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Слежу за темой.

Всё сходится с тем, что вижу у себя.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Спасибо за подробное описание, так отвечать проще.

Работает, пока не выросли объёмы.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Тут стоит разделить два вопроса, их часто путают.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Данные теряются равномерно или кусками?