Мониторинг наличия товара: частота проверок и расход

Слежу за конкурентами постоянно, и вот что вылезло.

Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Расход трафика около 700 гигабайт в месяц.

Может, есть более простой путь, которого я не вижу.

У меня картина совпадает почти полностью.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня серверные прокси с целыми подсетями, два терабайта в месяц уходят незаметно и в счёт не попадают.

Держите запас, ровно по расчёту работать не выйдет.

Уменьшите потоки вдвое и замерьте заново.

Согласен с предыдущим ответом, но с одной оговоркой.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Логи в помощь, без них это гадание.

Начинал с того же, потом переделал.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Был случай, когда всё сошлось только на третий день разбора.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118