Сбор цен встал: площадка стала отдавать цену скриптом

Считаю нагрузку заранее и хочу сверить с чужим опытом.

Опишу по порядку, что есть и чего не хватает.

Разложил проверки по часам, нагрузка стала ровнее. Цены меняются в течение дня, суточного среза уже не хватает. Оповещение настроено на изменение больше пяти процентов.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Кто сталкивался, поделитесь опытом.

У меня картина совпадает почти полностью.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Добавлю про источник. Раньше брал дешёвый общий пул, где адреса шли подряд одним диапазоном, и половина прогонов заканчивалась проверкой на робота. Перешёл на приватные прокси IPv4 и SOCKS5, и вопрос закрылся сам.

На другой машине воспроизводится?

Сколько адресов и какой темп при этом стоит?

Пришёл к этому не сразу, сначала сделал ошибку.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Был случай, когда всё сошлось только на третий день разбора.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

Считаю так же, и цифры у меня близкие.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

У нас на прошлом проекте это выглядело так.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Держите нас в курсе.

Долго держал старую схему, пока не упёрся.

Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.

Смотрите подсети, а не только число адресов.

Долго держал старую схему, пока не упёрся.

Полноту мониторинга проверяйте отдельным заданием: берите случайную выборку и сверяйте руками. Дыры находятся сразу.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Хороший разбор, добавлю в закладки.

Проверял на трёх проектах подряд, картина устойчивая.

Расход адресов на мониторинге ровнее, чем на разовых прогонах, поэтому пул проще считать: берите средний темп и умножайте на запас.

Если поможет, напишите здесь же, пригодится следующим.

Добавлю то, что обычно вылезает на второй месяц работы.

Оповещение настраивайте на процент, а не на рубли. Иначе дешёвые позиции будут молчать, а дорогие звенеть постоянно.

$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt
проверено: 198 402
изменилось: 4 118

Если поможет, напишите здесь же, пригодится следующим.

Так и есть, проходил через это в прошлом году.

Если площадка отдаёт цену скриптом, ищите источник данных. Обычно рядом есть простой запрос, который отдаёт то же самое.

Тут есть тонкость, о которой обычно забывают.

Историю цен храните с отметкой времени и адресом, откуда снято. Без этого разбор расхождений превращается в спор.