Мониторинг наличия товара: частота проверок и расход

Слежу за конкурентами постоянно, и вот что вылезло.

Цены меняются в течение дня, суточного среза уже не хватает. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

Готов сам проверить, скажите только что.

Верно, и это не единичный случай.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня серверные прокси с целыми подсетями, два терабайта в месяц уходят незаметно и в счёт не попадают.

Проверьте на второй машине, это отсекает половину версий.

Пишите состояние построчно.

Так и работает, проверено не один раз.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Сверяйте полноту после каждого прогона.

Ловил это дважды, оба раза по разным причинам.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Сначала делал так же, потом переделал всё.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118