Мониторинг сайта клиента на предмет чужих изменений

Задача понятная, вопрос в частоте и объёме.

Разложил проверки по часам, нагрузка стала ровнее. Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Расход трафика около 700 гигабайт в месяц.

Кто сталкивался, поделитесь опытом.

Проверял на трёх проектах подряд, картина устойчивая.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если поможет, напишите здесь же, пригодится следующим.

Полгода назад ловил то же самое.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если поможет, напишите здесь же, пригодится следующим.

У меня картина совпадает почти полностью.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Логи в помощь, без них это гадание.

Работает, пока объём небольшой. Дальше правила другие.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Держите нас в курсе.

Поправлю: дело не в объёме, а в темпе.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Отпишитесь, чем закончится, тема полезная.

Проверял на трёх проектах подряд, картина устойчивая.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Полгода назад ловил то же самое.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Логи в помощь, без них это гадание.

Подтверждаю, у нас было ровно то же самое.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Пришёл к этому не сразу, сначала сделал ошибку.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118