Сбор данных по расписанию: какое время суток спокойнее

Спрашиваю у тех, кто держит слежение на постоянной основе.

Список карточек меняется каждую неделю. Разложил проверки по часам, нагрузка стала ровнее. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Интересно, как это решают у вас.

Могу подтвердить, у нас на двух проектах точно так.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через прокси IPv4 под сбор данных, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Это на всех площадках или на одной?

Что в логах в этот момент?

Проверял на трёх проектах подряд, картина устойчивая.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Хороший разбор, добавлю в закладки.

Был похожий случай, разбирали неделю.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Верно по сути, дальше нюансы.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Половина верна, вторую половину поправлю.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Пришёл к этому не сразу, сначала сделал ошибку.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.