Разделы · Семантика и частотности
Прошу совета у тех, кто собирает регулярно и много.
Проверял на выборке в тысячу фраз, там всё гладко. После сбора из трёх источников дублей вышло около тридцати процентов. Сбор идёт вторые сутки, а прошло чуть больше половины.
Жду любых мыслей, даже сырых.
Подтверждаю, у нас было ровно то же самое.
Разделение коммерческих и информационных запросов надёжнее делать по выдаче. Слова-маркеры дают слишком много ошибок.
Сезонность видно только на истории. Если собираете первый раз, отметьте дату сбора, через год она вам понадобится.
Добавьте адресов, потоки трогать не надо.
Поправлю цифру, остальное верно.
Внутренний поиск конкурента даёт живые формулировки, которых нет в подсказках. Источник недооценённый.
Маски проверяйте до запуска. Одна кривая маска даёт десятки тысяч мусорных фраз и съедает ночь.
Сохранил, пригодится в следующем проекте.
Согласен с предыдущим ответом, но с одной оговоркой.
Ядро версионируйте. Через полгода вопрос «а что мы собирали в прошлый раз» возникает обязательно.
Ставьте таймаут, иначе висит вечно.
Уточнение по мелочи, но она стоит времени.
Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.
Интересно, чем закончится.
Поправлю цифру, остальное верно.
Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.
Держите запас, ровно по расчёту работать не выйдет.
Пишите состояние построчно.
Проходил ровно этот путь года полтора назад.
Чистку делаю в два прохода: сначала стоп-слова и явный мусор, потом ручной просмотр верхушки по частотности. Низ списка руками не трогаю.
Проверял это на своей задаче, вывод такой же.
По узким регионам данных мало всегда. Смотрите на порядок величины и на наличие спроса как такового. Точные числа там всё равно недостоверны.
Дубли после сбора из трёх источников это норма. Приводите фразы к одному виду до сравнения: нижний регистр, порядок слов, лишние пробелы.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.