Мониторинг конкурентов в двух странах сразу

Задача понятная, вопрос в частоте и объёме.

Пара цифр для понимания.

Разложил проверки по часам, нагрузка стала ровнее. Оповещение настроено на изменение больше пяти процентов. Проверок в сутки около полумиллиона.

Хочется услышать, чем это заканчивается на практике.

Одно уточнение, иначе расчёт уедет.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Логи в помощь, без них это гадание.

Именно так и есть, спорить не о чем.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Разнесите нагрузку по времени.

Мы решили это переносом прогона на другое время.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Жду продолжения.

Полгода назад ловил то же самое.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Присоединяюсь, схема рабочая.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Расскажу, чем закончилось у меня.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

Хороший разбор, добавлю в закладки.

Обновите список адресов и повторите.

Прогон падает всегда в одном месте?

Это началось после какого-то изменения?

Мы решили это переносом прогона на другое время.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Уменьшите потоки вдвое и замерьте заново.

Начните с пробы на тысяче записей.

Сколько адресов и какой темп при этом стоит?

Проверял на трёх проектах подряд, картина устойчивая.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Осторожнее с обобщением, случаи бывают разные.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Сохранил, пригодится в следующем проекте.