Мониторинг цен у 40 конкурентов: как построили и что вышло

Ниже как настроено сейчас, и что смущает.

Сначала обстановка, вопрос в конце.

Оповещение настроено на изменение больше пяти процентов. Цены меняются в течение дня, суточного среза уже не хватает. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто как это обходит?

Совет по выбору: просите подсети из разных диапазонов, а не сотню подряд. У серверные прокси с целыми подсетями это в порядке вещей, поэтому и остался.

Проверьте, что настройка вообще применилась.

Пришёл к этому не сразу, сначала сделал ошибку.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Проверял это на своей задаче, вывод такой же.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Проверял это на своей задаче, вывод такой же.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Тема нужная, подписался.