Мониторинг отзывов на карточках: сбор новых за сутки

Мониторинг работает полгода, недавно начались перебои.

Оповещения приходят в рабочий чат. Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Может, есть путь проще, которого я не вижу.

Разбейте задачу на части.

Сколько адресов и из скольких подсетей?

Пробовали на другой машине?

Это верно для одной площадки и неверно для другой.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Мы упирались в то же, пока не поменяли подход.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Написано верно, добавить почти нечего.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Проверял на трёх проектах подряд, картина устойчивая.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Один момент упущен, и он важный.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Работает, пока не выросли объёмы.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Добавлю то, что обычно выясняется поздно.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.