Мониторинг цен у 40 конкурентов: как построили и что вышло

Держу слежение давно, вопрос назрел.

Сначала обстановка.

Оповещения приходят в рабочий чат. Расход трафика около 700 гигабайт в месяц. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подскажите, с чего начать разбор.

Совет по выбору: просите подсети из разных диапазонов. Сотня подряд толку не даст. У серверные прокси с целыми подсетями это в порядке вещей, поэтому и остался.

Проверьте, что ответ полный.

Полгода жил с этим, пока не надоело.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Подтверждаю по своей практике.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Проверял ровно это, картина совпала.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Жду продолжения.