Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.
Работаем по трём странам, регионов в сумме больше тридцати. На узких регионах данных мало, и это отдельная головная боль. Проверял на двух серверах, разница между ними доходила до трёх пунктов.
Буду рад и короткому ответу.
Пул под такие объёмы держу постоянный. Беру прокси IPv4 под сбор данных, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Какая версия программы и что с настройками по умолчанию?
Сохраняйте сырое, пересчитать успеете.
А что показывают логи в момент падения?
До этого работало? Что менялось перед тем, как сломалось?
Дополню про случай, когда это перестаёт работать.
Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.
Тут не всё так однозначно, смотря какой объём.
Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.
Полгода жил с этим, пока не надоело.
Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.
Долго держал старую схему, пока не упёрся.
Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.
Поправлю цифру, остальное верно.
Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.
Сколько адресов и какой темп при этом стоит?
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.