Разделы · Мониторинг конкурентов и цен
Ниже как настроено сейчас, и что смущает.
Расход трафика около 700 гигабайт в месяц. Цены меняются в течение дня, суточного среза уже не хватает. Слежу за 40 конкурентами, съём раз в сутки, около 200 тысяч карточек.
$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt проверено: 198 402 изменилось: 4 118
Кто как это обходит?
Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Тут легко перепутать два разных момента.
Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.
Уменьшите потоки вдвое и замерьте заново.
Проверял на трёх проектах подряд, картина устойчивая.
Суточного среза цен уже мало почти везде. Разложите проверки по часам и следите за важными позициями чаще, чем за остальными.
$ ./ceny --spisok karty.txt --chasy 3 --proksi pool.txt проверено: 198 402 изменилось: 4 118
Хороший разбор, добавлю в закладки.