Кластеризация 30 тысяч запросов: чем считаете пересечения

Разложил задачу на части и застрял на одной из них.

Постараюсь коротко.

Проверял на выборке в тысячу фраз, там всё гладко. Ядро около 100 тысяч фраз, нужны точные частотности по двум регионам. Мусора после первого прохода около сорока процентов.

Что тут вообще считается нормой?

Разбейте прогон на части, станет ровнее.

Всё сходится с тем, что вижу у себя.

Собирайте частотности пачками и сохраняйте после каждой. Прогон на сутки без промежуточного сохранения это лотерея.

Точную частотность снимайте только по отобранным фразам. Гонять её по всему ядру дорого и почти всегда бесполезно.

Присоединяюсь, схема рабочая.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

Разбейте прогон на части, станет ровнее.

Не совсем так, и разница тут существенная.

Разделение коммерческих и информационных запросов надёжнее делать по выдаче. Слова-маркеры дают слишком много ошибок.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Отпишитесь, чем закончится, тема полезная.

Проверьте, что настройка вообще применилась.

Был случай, когда всё сошлось только на третий день разбора.

Собирайте частотности пачками и сохраняйте после каждой. Прогон на сутки без промежуточного сохранения это лотерея.

Забрал себе в заметки.

Добавьте адресов, потоки трогать не надо.

Ловил это дважды, оба раза по разным причинам.

Внутренний поиск конкурента даёт живые формулировки, которых нет в подсказках. Источник недооценённый.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

Сначала делал так же, потом переделал всё.

По узким регионам данных мало всегда. Смотрите на порядок величины и на наличие спроса как такового. Точные числа там всё равно недостоверны.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Поправлю: дело в темпе, объём тут вторичен.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

Внутренний поиск конкурента даёт живые формулировки, которых нет в подсказках. Источник недооценённый.

На маленьких объёмах верно, на больших уже нет.

Пустые ответы при живых адресах почти всегда означают, что площадка отдаёт заглушку. Проверяйте размер ответа.