Слежение за рекламными объявлениями конкурентов в выдаче

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Условия задачи вот такие.

Разложил проверки по часам, нагрузка стала ровнее. Расход трафика около 700 гигабайт в месяц.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Подскажите, где я ошибаюсь.

Подтверждаю, у нас было ровно то же самое.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Долго держал старую схему, пока не упёрся.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные адреса IPv4, когда старый поставщик начал резать канал на длинных прогонах.

Уменьшите потоки вдвое и замерьте заново.

Начните с малого объёма и растите постепенно.

Разбейте прогон на части, станет ровнее.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Смотрите подсети, а не только число адресов.

Так и есть, проходил через это в прошлом году.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Отпишитесь, чем закончится, тема полезная.

Это на всех площадках или на одной?

До этого работало? Что менялось перед тем, как сломалось?

Проверял это на своей задаче, вывод такой же.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Держите нас в курсе.

Согласен с предыдущим ответом, но с одной оговоркой.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Держите нас в курсе.

Всё верно написали выше, добавлю от себя пару деталей.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Всё верно написали выше, добавлю от себя пару деталей.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Одно уточнение, иначе расчёт уедет.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.