Как отличить настоящее падение позиций от сбоя съёма

Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.

По порядку.

Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Проверял на двух серверах, разница между ними доходила до трёх пунктов.

Хочу понять устройство, а потом уже крутить настройки.

Пробовали на другой машине?

Расскажу, чем закончилось у меня.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тут есть тонкость, о которой обычно забывают.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Есть момент, который меняет всю картину.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Начните с пробы на тысяче записей.

Расскажу, как выкручивались мы.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Так и есть, проходил через это в прошлом году.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Слежу за темой.

Что в логах в этот момент?

Проверяйте из той же программы. Браузер показывает своё.