Слежение за новыми товарами в категории

Объём вырос вдвое, старая схема трещит.

Условия задачи вот такие.

Список карточек меняется каждую неделю. Разложил проверки по часам, нагрузка стала ровнее.

Ткните носом, если очевидное пропустил.

Одно уточнение, иначе расчёт уедет.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Пробовали снизить темп вдвое?

Что менялось за последнюю неделю?

Скорость решает не всё, но и терять её не хочется. Я перешёл на приватные серверные прокси, когда старый поставщик начал резать канал на длинных прогонах.

Замечание по существу, иначе расчёт поедет.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Сначала делал так же, потом переделал всё.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Прогон падает всегда в одном месте?

На другой машине воспроизводится?

Разбейте прогон на части, станет ровнее.

Прочитал и узнал свой прошлый год.

История цен без времени снятия бесполезна. Секунды не нужны, час обязателен.

У меня это вскрылось только на сверке данных.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Мы держали старую схему год, зря.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Держите запас, ровно по расчёту работать не выйдет.

Опишу свой случай, вдруг совпадёт.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

На одном проекте это стоило нам сорванного срока.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Что менялось за последнюю неделю?

Тут не всё так однозначно, смотря какой объём.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Что показывает простой запрос из консоли?