Подсказки Яндекса и Гугла: чем собирать массово

Работал раньше на маленьких объёмах, тут всё иначе.

Держу 40 адресов, паузы ставлю случайные от секунды до трёх. Кластеризация просит свежие топы, а это отдельный прогон и отдельный расход.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Буду признателен за конкретику.

Держите запас, ровно по расчёту работать не выйдет.

Какая версия программы и что с настройками по умолчанию?

На другой машине воспроизводится?

Считаю так же, и цифры у меня близкие.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

Разбейте прогон на части, станет ровнее.

Держите запас, ровно по расчёту работать не выйдет.

Добавлю то, что обычно вылезает на второй месяц работы.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Почти так, но одна деталь меняет вывод.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

Полгода назад ловил то же самое.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Держите нас в курсе.

Смотрите подсети, а не только число адресов.

Считайте по темпу, всё остальное вторично.

Какая версия программы и что с настройками по умолчанию?

Одно уточнение, иначе расчёт уедет.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Тема нужная, подписался.

Это на всех площадках или на одной?

Пришёл к этому не сразу, сначала сделал ошибку.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Хороший разбор, добавлю в закладки.

Это на всех площадках или на одной?

На другой машине воспроизводится?