Сколько стоит держать мониторинг 100 тысяч позиций в месяц

Задача понятная, вопрос в частоте и объёме.

Часть площадок отдаёт цену скриптом, и обычный сбор их не видит. Оповещения приходят в рабочий чат. Оповещение настроено на изменение больше пяти процентов.

Если у кого есть цифры, покажите.

Какой объём и за какое окно?

Начните с пробы на тысяче записей.

Уберите лишние потоки, толку от них нет.

На другой машине воспроизводится?

Разнесите нагрузку по времени.

Соглашусь, хотя пришёл к этому через неприятность.

Отмечайте не только цену, но и наличие. Товар без наличия с любой ценой в отчёте бесполезен.

Тема как раз вовремя, сам этим занят.

Сохраняйте сырое, пересчитать успеете.

Наступал на это в прошлом сезоне.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Будет результат, напишите сюда.

Добавлю то, что обычно вылезает на второй месяц работы.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Сохранил, пригодится в следующем проекте.