Сбор частотностей встал: адреса живые, ответы пустые

Прошу совета у тех, кто собирает регулярно и много.

Опишу по порядку, что есть и чего не хватает.

Держу 40 адресов, паузы ставлю случайные от секунды до трёх. После сбора из трёх источников дублей вышло около тридцати процентов.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Буду признателен за конкретику.

Какая версия программы и что с настройками по умолчанию?

Какая версия программы и что с настройками по умолчанию?

Поправлю: дело не в объёме, а в темпе.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

Сбор частотностей упирается в темп, а не в мощность машины. Ускорение даёт только увеличение числа адресов и аккуратные паузы.

Смотрите подсети, а не только число адресов.

На такой задаче адреса надо держать свои, а не общие. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру приватные прокси IPv4 и SOCKS5 и сплю спокойно.

Разбейте прогон на части, станет ровнее.

Проверял на трёх проектах подряд, картина устойчивая.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Добавлю то, что обычно вылезает на второй месяц работы.

Точная частотность в кавычках собирается медленнее обычной, потому что это отдельный запрос. Закладывайте на неё втрое больше времени.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Логи в помощь, без них это гадание.

Расскажу, чем закончилось у меня.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Расширение по подсказкам останавливаю, когда прирост новых фраз падает ниже пяти процентов за проход. Дальше растёт только мусор.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Хороший разбор, добавлю в закладки.