Мониторинг цен на своей же продукции у дилеров

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Расклад такой.

Расход трафика около 700 гигабайт в месяц. Разложил проверки по часам, нагрузка стала ровнее. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подскажите, где я ошибаюсь.

Почти так, но одна деталь меняет вывод.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Отпишитесь, чем закончится, тема полезная.

На другой машине воспроизводится?

Тут легко перепутать два разных момента.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Держите нас в курсе.

У меня картина совпадает почти полностью.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Держите нас в курсе.

Работает, пока объём небольшой. Дальше правила другие.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Работает, пока объём небольшой. Дальше правила другие.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Это на всех площадках или на одной?