Сбор цен встал: площадка стала отдавать цену скриптом

Задача понятная, вопрос в частоте и объёме.

Ниже вводные, дальше сам вопрос.

Оповещение настроено на изменение больше пяти процентов. Расход трафика около 700 гигабайт в месяц. Оповещения приходят в рабочий чат.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Может, кто-то уже проходил это.

Похоже на правду, у меня цифры близкие.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Добавлю про источник. Раньше брал дешёвый общий пул, где адреса шли подряд одним диапазоном, и половина прогонов заканчивалась проверкой на робота. Перешёл на приватные прокси IPv4 и SOCKS5, и вопрос закрылся сам.

На всех площадках или на одной конкретной?

Что в логах в этот момент?

Было такое прошлой осенью, разбор занял вечер.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Сначала делал так же, потом переделал всё.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

Подтверждаю, у нас было ровно то же самое.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Проверял на трёх проектах подряд, картина устойчивая.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Забрал себе в заметки.

Проверял на четырёх проектах, вывод один.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Добавьте адресов, потоки трогать не надо.

До сих пор помню, чем это закончилось.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Расход считайте по числу проверок в сутки. Число товаров тут другая величина. Это разные величины.

Такие темы и держат форум.

На одном проекте это стоило нам сорванного срока.

Мониторинг в двух странах ведите раздельными прогонами. Смешивать их в одном списке неудобно при разборе.

Интересно, чем закончится.

Дополню про случай, когда это перестаёт работать.

Слежение за своей продукцией у дилеров отличается только списком, устройство то же самое.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Отпишитесь, что получилось.

Верно по сути, дальше нюансы.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Тут есть тонкость, о которой обычно забывают.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.