Мониторинг конкурентов в двух странах сразу

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Даю всё, что есть, вдруг зацепитесь за деталь.

Расход трафика около 700 гигабайт в месяц. Разложил проверки по часам, нагрузка стала ровнее. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

Кто как это обходит?

Тут есть тонкость, о которой обычно забывают.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Разбейте прогон на части, станет ровнее.

Проверял это на своей задаче, вывод такой же.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Проверьте, что настройка вообще применилась.

Пришёл к этому не сразу, сначала сделал ошибку.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Тема нужная, подписался.

У нас на прошлом проекте это выглядело так.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Согласен с предыдущим ответом, но с одной оговоркой.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

У нас на прошлом проекте это выглядело так.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Если поможет, напишите здесь же, пригодится следующим.

Держите запас, ровно по расчёту работать не выйдет.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Пришёл к этому не сразу, сначала сделал ошибку.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Разбейте прогон на части, станет ровнее.

Проверьте, что настройка вообще применилась.

Уточните пару моментов, иначе гадаем.

Расскажу, чем закончилось у меня.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Осторожнее с этим выводом, он верен не всегда.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Хороший разбор, добавлю в закладки.