Сбор цен по регионам: одна карточка, разные значения

Задача понятная, вопрос в частоте и объёме.

Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек. Оповещение настроено на изменение больше пяти процентов.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Буду признателен за конкретику.

Расскажу, чем закончилось у меня.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Уменьшите потоки вдвое и замерьте заново.

У нас на прошлом проекте это выглядело так.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если поможет, напишите здесь же, пригодится следующим.

Это на всех площадках или на одной?

Это на всех площадках или на одной?

Проверьте, что настройка вообще применилась.

Проверял это на своей задаче, вывод такой же.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Если поможет, напишите здесь же, пригодится следующим.

Почти так, но одна деталь меняет вывод.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Полгода назад ловил то же самое.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Почти так, но одна деталь меняет вывод.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Если поможет, напишите здесь же, пригодится следующим.