Как чистить семантику от мусора без ручного просмотра

Работал раньше на маленьких объёмах, тут всё иначе.

Пара цифр для понимания.

Частотности снимаю по двум регионам, дальше сравниваю. Сбор идёт вторые сутки, а прошло чуть больше половины.

Подскажите, с чего начать разбор.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватный пул IPv4.

Сначала логи, потом версии.

Начинал с готовых сервисов, потом ушёл на своё.

Точную частотность снимайте только по отобранным фразам. Гонять её по всему ядру дорого и почти всегда бесполезно.

Ядро версионируйте. Через полгода вопрос «а что мы собирали в прошлый раз» возникает обязательно.

Добавлю тему в закладки.

Настройка применилась вообще?

Не совсем так, и разница тут существенная.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Если поможет, напишите здесь же, пригодится следующим.

Дополню про случай, когда это перестаёт работать.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

Приводите фразы к общему виду до сравнения, иначе дубли расползаются по всему ядру и всплывают на кластеризации.

Настройка применилась вообще?

Пробовали на другой машине?

Сколько потоков стоит на прогоне?

Начинал с того же, потом переделал.

Сбор частотностей упирается в темп. Мощность машины тут не помогает. Ускорение даёт только увеличение числа адресов и аккуратные паузы.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Начинал с того же, потом переделал.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Сначала логи, потом версии.

Держите запас, впритык не работает.

Начинал с готовых сервисов, потом ушёл на своё.

Обновляйте ядро частями. Полный пересбор раз в квартал нужен редко, обычно достаточно освежить верхушку и добрать новое.

Сохраняйте сырое, пересчитать успеете.

Что менялось за последнюю неделю?

Пробовали снизить темп вдвое?

Уточните пару моментов, иначе гадаем.