Сбор подсказок с мобильной выдачи отличается от десктопной

Второй раз наступаю на одни грабли, решил спросить.

Список масок на пять тысяч, глубина расширения три уровня. Держу 40 адресов, паузы ставлю случайные от секунды до трёх.

Хочется услышать цифры от практиков.

Долго держал старую схему, пока не упёрся.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

На другой машине воспроизводится?

На другой машине воспроизводится?

До этого работало? Что менялось перед тем, как сломалось?

Тут легко перепутать два разных момента.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Тема нужная, подписался.

Осторожнее с этим выводом, он верен не всегда.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

Начинал с того же, потом переделал.

Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.

Тут есть тонкость, о которой обычно забывают.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

Так и есть, проходил через это в прошлом году.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Тут есть тонкость, о которой обычно забывают.

По узким регионам данных мало всегда. Смотрите не на точные числа, а на порядок величины и на наличие спроса как такового.

Сбор частотностей упирается в темп, а не в мощность машины. Ускорение даёт только увеличение числа адресов и аккуратные паузы.

Тут легко перепутать два разных момента.

Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.

Сбор частотностей упирается в темп, а не в мощность машины. Ускорение даёт только увеличение числа адресов и аккуратные паузы.

А что показывают логи в момент падения?