Мониторинг 200 тысяч карточек: как разложить по времени

Ниже как настроено сейчас, и что смущает.

Кратко по условиям.

Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто как это обходит?

Это началось после какого-то изменения?

Ответ приходит пустой или с содержимым?

На одном проекте это стоило нам сорванного срока.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Тема нужная, подписался.

У меня картина совпадает почти полностью.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Был случай, когда всё сошлось только на третий день разбора.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Тут ничего нового не скажу, только подтвержу.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Замечание по существу, иначе расчёт поедет.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Проверял на четырёх проектах, вывод один.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Могу подтвердить, у нас на двух проектах точно так.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Поправлю цифру, остальное верно.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Всё правильно расписано, повторю своими словами.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Хороший вопрос, редко разбирают.

Какая версия программы стоит?

Это на всех площадках или на одной?

У меня это вскрылось только на сверке данных.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Начните с пробы на тысяче записей.

Разнесите нагрузку по времени.

Замечание по существу, иначе расчёт поедет.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Тема нужная, подписался.