Слежение за новыми товарами в категории

Ниже как настроено сейчас, и что смущает.

Коротко об условиях.

Оповещение настроено на изменение больше пяти процентов. Расход трафика около 700 гигабайт в месяц.

Кто сталкивался, поделитесь опытом.

Тут есть тонкость, о которой обычно забывают.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

До этого работало? Что менялось перед тем, как сломалось?

До этого работало? Что менялось перед тем, как сломалось?

Скорость решает не всё, но и терять её не хочется. Я перешёл на приватные серверные прокси, когда старый поставщик начал резать канал на длинных прогонах.

Тут легко перепутать два разных момента.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Был случай, когда всё сошлось только на третий день разбора.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Это на всех площадках или на одной?

Уточните пару моментов, иначе гадаем.

Считайте по темпу, всё остальное вторично.

Так и есть, проходил через это в прошлом году.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Пришёл к этому не сразу, сначала сделал ошибку.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Начинал с того же, потом переделал.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Разбейте прогон на части, станет ровнее.

Был случай, когда всё сошлось только на третий день разбора.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Проверял на трёх проектах подряд, картина устойчивая.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

До этого работало? Что менялось перед тем, как сломалось?

Одно уточнение, иначе расчёт уедет.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Какая версия программы и что с настройками по умолчанию?