Мониторинг выдачи по коммерческим запросам каждый час

Ниже как настроено сейчас, и что смущает.

Что имеем на входе.

Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто как это обходит?

Был случай, когда всё сошлось только на третий день разбора.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

У меня картина совпадает почти полностью.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Держите нас в курсе.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные прокси IPv4 и SOCKS5.

Проверьте, что настройка вообще применилась.

Поправлю: дело не в объёме, а в темпе.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Долго держал старую схему, пока не упёрся.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Какая версия программы и что с настройками по умолчанию?

Уточните пару моментов, иначе гадаем.

Проверял на трёх проектах подряд, картина устойчивая.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.