Мониторинг цен на Wildberries: карточки меняются в течение дня

Задача понятная, вопрос в частоте и объёме.

Проверок в сутки около полумиллиона. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Разложил проверки по часам, нагрузка стала ровнее.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Есть ощущение, что упускаю мелочь.

Смотрите подсети, число адресов само по себе мало что даёт.

У меня картина совпадает почти полностью.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на приватные серверные прокси и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Разбейте прогон на части, станет ровнее.

Дополню, потому что важная деталь потерялась.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Ловил это дважды, оба раза по разным причинам.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

У меня картина совпадает почти полностью.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Спасибо за подробное описание, так отвечать проще.

Дополню, потому что важная деталь потерялась.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Интересно, чем закончится.

У нас это вылезло на проекте с большим каталогом.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

У нас на прошлом проекте это выглядело так.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Тема как раз вовремя, сам этим занят.

Разбирались втроём, нашли случайно.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Замечание по существу, иначе расчёт поедет.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Один момент упущен, и он важный.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Хороший разбор, добавлю в закладки.

Опишу свой случай, вдруг совпадёт.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Сколько адресов и из скольких подсетей?

Что в логах в этот момент?