Сбор поисковых подсказок по 5 тысячам масок за ночь

Работал раньше на маленьких объёмах, тут всё иначе.

Сразу к делу, чтобы не растекаться.

Проверял на выборке в тысячу фраз, там всё гладко. Сбор идёт вторые сутки, а прошло чуть больше половины. После сбора из трёх источников дублей вышло около тридцати процентов.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Кто сталкивался, поделитесь опытом.

У нас на прошлом проекте это выглядело так.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Отпишитесь, чем закончится, тема полезная.

Смотрите подсети, а не только число адресов.

Подтверждаю, у нас было ровно то же самое.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Тема нужная, подписался.

Долго держал старую схему, пока не упёрся.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Если поможет, напишите здесь же, пригодится следующим.

Уменьшите потоки вдвое и замерьте заново.

Работает, пока объём небольшой. Дальше правила другие.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Полгода назад ловил то же самое.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Уменьшите потоки вдвое и замерьте заново.