Съём позиций по 40 тысячам запросов в окно четыре часа: считаем адреса

Третий месяц веду ежедневный съём, и вот что вылезло.

Ядро на 18 тысяч фраз, съём через день. Проверял на двух серверах, разница между ними доходила до трёх пунктов. Пробовал разносить прогон по времени, картина поменялась, но не полностью.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Кто сталкивался, поделитесь опытом.

Тот же вывод, только я шёл к нему дольше.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Осторожнее с этим выводом, он верен не всегда.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Первый раз списал на случайность, второй раз уже нет.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Какие паузы между запросами?

Проверяли на маленькой выборке?

А что показывают логи в момент падения?

Это началось после какого-то изменения?

А что показывают логи в момент падения?

Что в логах в этот момент?

Согласен с предыдущим ответом, но с одной оговоркой.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Смотрите подсети, число адресов само по себе мало что даёт.

Какие паузы между запросами?

Это началось после какого-то изменения?