Как хранить историю цен, чтобы считать динамику

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Сразу к делу, чтобы не растекаться.

Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Разложил проверки по часам, нагрузка стала ровнее. Оповещение настроено на изменение больше пяти процентов.

Кто сталкивался, поделитесь опытом.

Всё верно написали выше, добавлю от себя пару деталей.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Добавлю то, что обычно вылезает на второй месяц работы.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Проверить это можно бесплатно: у серверные адреса IPv4 есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Начните с малого объёма и растите постепенно.

Начинал с того же, потом переделал.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118