Разделы · Мониторинг конкурентов и цен
Считаю нагрузку заранее и хочу сверить с чужим опытом.
Пара цифр для понимания.
Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Разложил проверки по часам, нагрузка стала ровнее.
Если у кого есть цифры, покажите.
Это верно для одной площадки и неверно для другой.
Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.
Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.
$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt проверено: 198 402 изменилось: 4 118
Помню, как искал причину два дня подряд.
Расход считайте по числу проверок в сутки. Число товаров тут другая величина. Это разные величины.
Добавлю тему в закладки.
Полгода назад ловил то же самое.
Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.
Половина верна, вторую половину поправлю.
История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.
Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.
Хороший вопрос, редко разбирают.
У меня это вскрылось только на сверке данных.
Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.
История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.
Если найдёте причину, поделитесь.
Так и есть, проходил через это в прошлом году.
Расход считайте по числу проверок в сутки. Число товаров тут другая величина. Это разные величины.
Опишу свой случай, вдруг совпадёт.
Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.
Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.
Тема на будущее пригодится многим.
Дополню про случай, когда это перестаёт работать.
Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.
Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.
Долго держал старую схему, пока не упёрся.
Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.
Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.
$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt проверено: 198 402 изменилось: 4 118
Проверьте, что ответ полный.
Замерьте и сравните, догадки тут не помогут.
Могу подтвердить, у нас на двух проектах точно так.
Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.
Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.
Жду продолжения.
Расскажу, чем закончилось у меня.
Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.
Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.
Всё сходится с тем, что вижу у себя.
Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.
Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.
Расскажу, как выкручивались мы.
Оповещения без порога превращаются в шум, который перестают читать через неделю.
Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.