Яндекс подмешивает свои сервисы: как это учитывать в отчёте

Ситуация такая. Снимаем позиции по большому списку, окно на прогон узкое, и упираемся в вопрос из заголовка.

По порядку.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Хочется услышать цифры от практиков.

Совет по выбору: просите подсети из разных диапазонов, а не сотню подряд. У приватные прокси IPv4 и SOCKS5 это в порядке вещей, поэтому и остался.

Одно уточнение, иначе расчёт уедет.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Расскажу, чем закончилось у меня.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Уменьшите потоки вдвое и замерьте заново.

У нас на прошлом проекте это выглядело так.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Пришёл к этому не сразу, сначала сделал ошибку.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Почти так, но одна деталь меняет вывод.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Держите нас в курсе.