Позиции скачут на 20 пунктов

Ниже разбор случая, который мне стоил двух вечеров.

Что имеем на входе.

Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Проверял на двух серверах, разница между ними доходила до трёх пунктов. Сравнивал с панелью вебмастера за тот же день, расхождение стабильное.

Хочется услышать цифры от практиков.

На всех площадках или на одной конкретной?

На другой машине воспроизводится?

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватные серверные прокси, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Наступал на это в прошлом сезоне.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Интересно, чем закончится.

У коллеги было то же самое, причина оказалась смешной.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Жду продолжения.

У коллеги было то же самое, причина оказалась смешной.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Пришёл к этому не сразу, сначала сделал ошибку.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Тут есть тонкость, о которой обычно забывают.

Ночной прогон удобен тем, что данные лежат в таблице к началу рабочего дня. Тишина на площадке тут ни при чём. Это единственная его настоящая польза.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Сверяйте полноту после каждого прогона.

Так и делаю, работает без сюрпризов.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Какая версия программы и что с настройками по умолчанию?

На всех площадках или на одной конкретной?

Был похожий случай, разбирали неделю.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Почти так, но одна деталь меняет вывод.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тут ничего нового не скажу, только подтвержу.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.