Сбор данных по расписанию: какое время суток спокойнее

Задача понятная, вопрос в частоте и объёме.

Оповещение настроено на изменение больше пяти процентов. Расход трафика около 700 гигабайт в месяц. Цены меняются в течение дня, суточного среза уже не хватает.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто сталкивался, поделитесь опытом.

Согласен с предыдущим ответом, но с одной оговоркой.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через прокси IPv4 под сбор данных, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

А что показывают логи в момент падения?

Сколько адресов и какой темп при этом стоит?

У нас на прошлом проекте это выглядело так.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Отпишитесь, чем закончится, тема полезная.

Проверял на трёх проектах подряд, картина устойчивая.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Так и есть, проходил через это в прошлом году.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Работает, пока объём небольшой. Дальше правила другие.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Расскажу, чем закончилось у меня.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.