Мониторинг цен через API площадки против сбора со страниц

Мониторинг работает полгода, недавно начались перебои.

Что имеем на входе.

Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Оповещение настроено на изменение больше пяти процентов. Разложил проверки по часам, нагрузка стала ровнее.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Как считаете вы? Интересует порядок, а не общие слова.

Тут легко перепутать два разных момента.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Расскажу, чем закончилось у меня.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если поможет, напишите здесь же, пригодится следующим.

Одно уточнение, иначе расчёт уедет.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

На другой машине воспроизводится?

До этого работало? Что менялось перед тем, как сломалось?

Начинал с того же, потом переделал.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Отпишитесь, чем закончится, тема полезная.

Тут есть тонкость, о которой обычно забывают.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Так и есть, проходил через это в прошлом году.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Уменьшите потоки вдвое и замерьте заново.

Всё верно написали выше, добавлю от себя пару деталей.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Логи в помощь, без них это гадание.

А что показывают логи в момент падения?

Это на всех площадках или на одной?