Съём позиций из-под разных браузерных отпечатков, есть ли смысл

Ниже разбор случая, который мне стоил двух вечеров.

Работаем по трём странам, регионов в сумме больше тридцати. На узких регионах данных мало, и это отдельная головная боль.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Хочется услышать цифры от практиков.

У нас похожая история была весной.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Начинал с готовых сервисов, потом ушёл на своё.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Интересно, чем закончится.

Уберите лишние потоки, толку от них нет.

Есть момент, который меняет всю картину.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Полезный разбор получился.

Что менялось за последнюю неделю?

Какой объём и за какое окно?

Ловил это дважды, оба раза по разным причинам.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

До этого работало? Что менялось перед тем, как сломалось?

Уберите лишние потоки, толку от них нет.

Подтверждаю, у нас было ровно то же самое.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Первый раз списал на случайность, второй раз уже нет.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Проходил ровно этот путь года полтора назад.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

Добавьте адресов, потоки трогать не надо.

Начинал с готовых сервисов, потом ушёл на своё.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Пишите состояние построчно.

Сколько адресов и из скольких подсетей?

Так и есть, проходил через это в прошлом году.

Ночной прогон удобен тем, что данные лежат в таблице к началу рабочего дня. Тишина на площадке тут ни при чём. Это единственная его настоящая польза.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Держите нас в курсе.