Отслеживание цен на Ozon: сколько адресов уходит в сутки

Объём вырос вдвое, старая схема трещит.

Вводные, чтобы не гадать.

Разложил проверки по часам, нагрузка стала ровнее. Оповещения приходят в рабочий чат.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подскажите, где я ошибаюсь.

У нас это вылезло на проекте с большим каталогом.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Пусть висит, такие вопросы всплывают постоянно.

Так делать можно, но есть путь короче.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Тема как раз вовремя, сам этим занят.

Было такое прошлой осенью, разбор занял вечер.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Был случай, когда всё сошлось только на третий день разбора.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Полгода жил с этим, пока не надоело.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Добавлю тему в закладки.

Присоединяюсь, схема рабочая.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подтверждаю, у нас было ровно то же самое.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Могу подтвердить, у нас на двух проектах точно так.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Полгода назад ловил то же самое.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.