Слежение за изменениями на сайте конкурента: чем и как часто

Объём вырос вдвое, старая схема трещит.

Сразу к делу, чтобы не растекаться.

Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Список карточек меняется каждую неделю.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Есть ощущение, что упускаю мелочь.

Что в логах в этот момент?

Тот же вывод, только я шёл к нему дольше.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Было такое прошлой осенью, разбор занял вечер.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Осторожнее с этим выводом, он верен не всегда.

Оповещение настраивайте на процент. В рублях порог работает плохо. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Почти так, но одна деталь меняет вывод.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Такие темы и держат форум.

С выводом соглашусь, с обоснованием нет.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Добавлю тему в закладки.

Прогон падает всегда в одном месте?

Начинал с готовых сервисов, потом ушёл на своё.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Спасибо за подробное описание, так отвечать проще.

Есть возможность повторить прогон и сравнить?

Сохраняйте сырое, пересчитать успеете.

Дополню про случай, когда это перестаёт работать.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

До сих пор помню, чем это закончилось.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Меняйте по одному, иначе не поймёте причину.

Наступал на это в прошлом сезоне.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.