Слежение за рекламными объявлениями конкурентов в выдаче

Ниже как настроено сейчас, и что смущает.

Что есть на руках.

Оповещение настроено на изменение больше пяти процентов. Часть площадок отдаёт цену скриптом, и обычный сбор их не видит.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто как это обходит?

Проверял это на своей задаче, вывод такой же.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Данные с площадки, где цена приходит скриптом, собирайте через тот же источник, что и сама страница.

До сих пор помню, чем это закончилось.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные адреса IPv4, когда старый поставщик начал резать канал на длинных прогонах.

Сначала логи, потом версии.

Один замер стоит десяти рассуждений.

Уменьшите потоки вдвое и замерьте заново.

Данные теряются равномерно или кусками?

Какие паузы между запросами?

Добавьте адресов, потоки трогать не надо.

У нас похожая история была весной.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Отпишитесь, чем закончится, тема полезная.

Прогон падает всегда в одном месте?

Пробовали снизить темп вдвое?

Согласен целиком, добавлю только цифру.

Разбейте карточки на группы по важности. Дорогие позиции проверяйте часто, длинный хвост раз в сутки.

Хороший вопрос, редко разбирают.

Так и работает, проверено не один раз.

Оповещения без порога превращаются в шум, который перестают читать через неделю.

Полезный разбор получился.

Ровно то же наблюдал, только объёмы были поменьше.

Расход считайте по числу проверок в сутки. Число товаров тут другая величина. Это разные величины.

Плюсую, сам пришёл к тому же через полгода проб.

Проверяйте полноту слежения отдельным заданием раз в неделю. Дыры образуются незаметно.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Тут не всё так однозначно, смотря какой объём.

Сравнивайте с предыдущим снимком. Так видно движение, эталон для этого не нужен.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.