Мониторинг цен на Wildberries: карточки меняются в течение дня

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Расход трафика около 700 гигабайт в месяц. Цены меняются в течение дня, суточного среза уже не хватает.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Может, есть более простой путь, которого я не вижу.

Считайте по темпу, всё остальное вторично.

Подтверждаю, у нас было ровно то же самое.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на приватные серверные прокси и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Смотрите подсети, а не только число адресов.

Считайте по темпу, всё остальное вторично.

Почти так, но одна деталь меняет вывод.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Начинал с того же, потом переделал.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Подтверждаю, у нас было ровно то же самое.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Держите нас в курсе.

Почти так, но одна деталь меняет вывод.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если поможет, напишите здесь же, пригодится следующим.

Полгода назад ловил то же самое.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

У нас на прошлом проекте это выглядело так.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Хороший разбор, добавлю в закладки.

Долго держал старую схему, пока не упёрся.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Тут легко перепутать два разных момента.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Добавлю то, что обычно вылезает на второй месяц работы.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Если поможет, напишите здесь же, пригодится следующим.

Был случай, когда всё сошлось только на третий день разбора.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

На другой машине воспроизводится?

Сколько адресов и какой темп при этом стоит?