Почему прокси не работает: адреса живые, ответы пустые

Разложил задачу на части и застрял на одной из них.

Начну с цифр, они тут важнее слов.

Частотности снимаю по двум регионам, дальше сравниваю. Кластеризация просит свежие топы, а это отдельный прогон и отдельный расход.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Может, тут вообще другой подход нужен.

Проверяли на маленькой выборке?

Проверяли на маленькой выборке?

Добавлю то, что обычно вылезает на второй месяц работы.

Пустые ответы при живых адресах почти всегда означают, что площадка отдаёт заглушку. Проверяйте размер ответа.

Сбор частотностей упирается в темп. Мощность машины тут не помогает. Ускорение даёт только увеличение числа адресов и аккуратные паузы.

Замерьте и сравните, догадки тут не помогут.

На такой задаче адреса надо держать свои. Общий пул тут подведёт. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру приватные прокси IPv4 и SOCKS5 и сплю спокойно.

Уменьшите потоки вдвое и замерьте заново.

Помню, как искал причину два дня подряд.

Приводите фразы к общему виду до сравнения, иначе дубли расползаются по всему ядру и всплывают на кластеризации.

Внутренний поиск конкурента даёт живые формулировки, которых нет в подсказках. Источник недооценённый.

Так делать можно, но есть путь короче.

Кластеризация по выдаче требует свежих топов. Если топам больше недели, кластеры разъезжаются, и это видно на глаз.

Внутренний поиск конкурента даёт живые формулировки, которых нет в подсказках. Источник недооценённый.

Сначала логи, потом версии.

Долго держал старую схему, пока не упёрся.

Разделение коммерческих и информационных запросов надёжнее делать по выдаче. Слова-маркеры дают слишком много ошибок.

Маски проверяйте до запуска. Одна кривая маска даёт десятки тысяч мусорных фраз и съедает ночь.

$ kc-cli --masks masks.txt --depth 3 --threads 40
собрано фраз: 214 880
отказов: 1 204

Пишите, если понадобится уточнить.