Сбор ключей из внутреннего поиска сайта конкурента

Второй раз наступаю на одни грабли, решил спросить.

Чтобы вопрос был предметным, вот цифры.

Ядро около 100 тысяч фраз, нужны точные частотности по двум регионам. Сбор идёт вторые сутки, а прошло чуть больше половины. Кластеризация просит свежие топы, а это отдельный прогон и отдельный расход.

Подскажите, где я ошибаюсь.

У нас на прошлом проекте это выглядело так.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

У меня картина совпадает почти полностью.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

Всё верно написали выше, добавлю от себя пару деталей.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Почти так, но одна деталь меняет вывод.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

На другой машине воспроизводится?

Уточните пару моментов, иначе гадаем.

На другой машине воспроизводится?

Какая версия программы и что с настройками по умолчанию?

Всё верно написали выше, добавлю от себя пару деталей.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

Почти так, но одна деталь меняет вывод.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.