Сбор поисковых подсказок по 5 тысячам масок за ночь

Прошу совета у тех, кто собирает регулярно и много.

Сразу к делу, чтобы не растекаться.

Держу 40 адресов, паузы ставлю случайные от секунды до трёх. После сбора из трёх источников дублей вышло около тридцати процентов. Кластеризация просит свежие топы, а это отдельный прогон и отдельный расход.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Интересно, как это решают у вас.

Проверял на трёх проектах подряд, картина устойчивая.

По узким регионам данных мало всегда. Смотрите на порядок величины и на наличие спроса как такового. Точные числа там всё равно недостоверны.

Точную частотность снимайте только по отобранным фразам. Гонять её по всему ядру дорого и почти всегда бесполезно.

Тема нужная, подписался.

Добавьте адресов, потоки трогать не надо.

Так и есть, проходил через это в прошлом году.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

Точную частотность снимайте только по отобранным фразам. Гонять её по всему ядру дорого и почти всегда бесполезно.

Если найдёте причину, поделитесь.

Проверял на четырёх проектах, вывод один.

Ядро версионируйте. Через полгода вопрос «а что мы собирали в прошлый раз» возникает обязательно.

Тема на будущее пригодится многим.

Пишите состояние построчно.

Работает, пока не выросли объёмы.

Обновляйте ядро частями. Полный пересбор раз в квартал нужен редко, обычно достаточно освежить верхушку и добрать новое.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Наступал на это в прошлом сезоне.

Обновляйте ядро частями. Полный пересбор раз в квартал нужен редко, обычно достаточно освежить верхушку и добрать новое.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Ставьте паузу с разбросом, не ровную.