Слежение за изменениями на сайте конкурента: чем и как часто

Спрашиваю у тех, кто держит слежение на постоянной основе.

Сразу к делу, чтобы не растекаться.

Расход трафика около 700 гигабайт в месяц. Оповещение настроено на изменение больше пяти процентов.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Может, есть более простой путь, которого я не вижу.

Сколько адресов и какой темп при этом стоит?

У меня картина совпадает почти полностью.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Пришёл к этому не сразу, сначала сделал ошибку.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Поправлю: дело не в объёме, а в темпе.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Поправлю: дело не в объёме, а в темпе.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Хороший разбор, добавлю в закладки.

Тут легко перепутать два разных момента.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Тема нужная, подписался.

Это на всех площадках или на одной?

Начинал с того же, потом переделал.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Держите нас в курсе.

До этого работало? Что менялось перед тем, как сломалось?

Начните с малого объёма и растите постепенно.

Добавлю то, что обычно вылезает на второй месяц работы.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Долго держал старую схему, пока не упёрся.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Держите запас, ровно по расчёту работать не выйдет.

Полгода назад ловил то же самое.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.