Съём позиций из-под разных браузерных отпечатков, есть ли смысл

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Пробовал разносить прогон по времени, картина поменялась, но не полностью. Ночной прогон занимает около шести часов, утром данные должны лежать в таблице.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Как считаете вы? Интересует порядок, а не общие слова.

Тут ничего нового не скажу, только подтвержу.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Начинал с того же, потом переделал.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Если поможет, напишите здесь же, пригодится следующим.

Уменьшите потоки вдвое и замерьте заново.

Одно уточнение, иначе расчёт уедет.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Тема нужная, подписался.

До этого работало? Что менялось перед тем, как сломалось?

А что показывают логи в момент падения?

Начинал с того же, потом переделал.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

А что показывают логи в момент падения?

Уменьшите потоки вдвое и замерьте заново.

Считаю так же, и цифры у меня близкие.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Долго держал старую схему, пока не упёрся.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Проверял на трёх проектах подряд, картина устойчивая.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Смотрите подсети, а не только число адресов.

Начинал с того же, потом переделал.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Уменьшите потоки вдвое и замерьте заново.

На другой машине воспроизводится?

Подтверждаю, у нас было ровно то же самое.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Отпишитесь, чем закончится, тема полезная.