Мониторинг выдачи по коммерческим запросам каждый час

Держу слежение давно, вопрос назрел.

Обстановка простая, а ответа не нахожу.

Цены меняются в течение дня, суточного среза уже не хватает. Разложил проверки по часам, нагрузка стала ровнее.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Хочется услышать, чем это заканчивается на практике.

У коллеги было то же самое, причина оказалась смешной.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Тот же вывод, только я шёл к нему дольше.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Слежу за темой.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные прокси IPv4 и SOCKS5.

Начните с пробы на тысяче записей.

Добавлю то, что обычно вылезает на второй месяц работы.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Первый раз списал на случайность, второй раз уже нет.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

На всех площадках или на одной конкретной?

А что показывают логи в момент падения?

На одном проекте это стоило нам сорванного срока.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.