Задача обычная, а вопрос упирается в цифры, которые каждый называет свои.
Что имеем на входе.
Пробовал разносить прогон по времени, картина поменялась, но не полностью. Проверял на двух серверах, разница между ними доходила до трёх пунктов. Держу 60 адресов, потоков ставлю 120, глубина топ-50.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Может, есть более простой путь, которого я не вижу.
Всё верно написали выше, добавлю от себя пару деталей.
Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Подтверждаю, у нас было ровно то же самое.
Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.
Почти так, но одна деталь меняет вывод.
Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.
На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Всё верно написали выше, добавлю от себя пару деталей.
Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Держите нас в курсе.
Пришёл к этому не сразу, сначала сделал ошибку.
Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.
Поправлю: дело не в объёме, а в темпе.
Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.
Если поможет, напишите здесь же, пригодится следующим.
Добавлю то, что обычно вылезает на второй месяц работы.
Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.
Какая версия программы и что с настройками по умолчанию?
До этого работало? Что менялось перед тем, как сломалось?