Семантика по англоязычной нише: чем собирать частотности

Расскажу, что делаю сейчас, и спрошу, где ошибаюсь.

Ниже вводные, дальше сам вопрос.

Мусора после первого прохода около сорока процентов. Ядро около 100 тысяч фраз, нужны точные частотности по двум регионам. Держу 40 адресов, паузы ставлю случайные от секунды до трёх.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Хочется услышать, чем это заканчивается на практике.

Пишите состояние построчно.

Проверяли на маленькой выборке?

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от серверные адреса IPv4 закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Полгода назад ловил то же самое.

Обновляйте ядро частями. Полный пересбор раз в квартал нужен редко, обычно достаточно освежить верхушку и добрать новое.

Разделение коммерческих и информационных запросов надёжнее делать по выдаче. Слова-маркеры дают слишком много ошибок.

Ответ приходит пустой или с содержимым?

Что менялось за последнюю неделю?

Дополню, потому что важная деталь потерялась.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Если найдёте причину, поделитесь.

Сколько адресов и какой темп при этом стоит?

Это началось после какого-то изменения?

Добавлю то, что обычно вылезает на второй месяц работы.

Собирайте частотности пачками и сохраняйте после каждой. Прогон на сутки без промежуточного сохранения это лотерея.

Какая версия программы и что с настройками по умолчанию?

Ставьте паузу с разбросом, не ровную.

Держите запас, ровно по расчёту работать не выйдет.

Начинал с готовых сервисов, потом ушёл на своё.

Маски проверяйте до запуска. Одна кривая маска даёт десятки тысяч мусорных фраз и съедает ночь.

У нас на прошлом проекте это выглядело так.

Маски проверяйте до запуска. Одна кривая маска даёт десятки тысяч мусорных фраз и съедает ночь.

Тут легко перепутать два разных момента.

Ядро версионируйте. Через полгода вопрос «а что мы собирали в прошлый раз» возникает обязательно.

Забрал себе в заметки.

Соглашусь, хотя пришёл к этому через неприятность.

Собирайте частотности пачками и сохраняйте после каждой. Прогон на сутки без промежуточного сохранения это лотерея.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.