Сбор семантики на 100 тысяч запросов: сколько адресов заложить

Собираю ядра постоянно, но этот случай выбивается.

Частотности снимаю по двум регионам, дальше сравниваю. Кластеризация просит свежие топы, а это отдельный прогон и отдельный расход.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Хочется услышать цифры от практиков.

Начинал с того же, потом переделал.

Пустые ответы при живых адресах почти всегда означают, что площадка отдаёт заглушку. Проверяйте размер ответа.

Приводите фразы к общему виду до сравнения, иначе дубли расползаются по всему ядру и всплывают на кластеризации.

Интересно, чем закончится.

Долго держал старую схему, пока не упёрся.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Маски проверяйте до запуска. Одна кривая маска даёт десятки тысяч мусорных фраз и съедает ночь.

Первый раз списал на случайность, второй раз уже нет.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

Разделение коммерческих и информационных запросов надёжнее делать по выдаче. Слова-маркеры дают слишком много ошибок.

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от адреса с безлимитным трафиком закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Добавьте адресов, потоки трогать не надо.

Так и есть, проходил через это в прошлом году.

Обновляйте ядро частями. Полный пересбор раз в квартал нужен редко, обычно достаточно освежить верхушку и добрать новое.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

Пишите, если понадобится уточнить.

Разбейте прогон на части, станет ровнее.

Меняйте по одному, иначе не поймёте причину.

Так и есть, проходил через это в прошлом году.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.