Съём позиций встал на середине: половина адресов ушла в проверку

Пишу по горячим следам, вчера потратил на это полдня.

Ниже вводные, дальше сам вопрос.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Держу два набора адресов, один под съём, второй под проверки.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Кто сталкивался, поделитесь опытом.

Помню, как искал причину два дня подряд.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Ловил это дважды, оба раза по разным причинам.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Соглашусь, хотя пришёл к этому через неприятность.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Написано верно, добавить почти нечего.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Это началось после какого-то изменения?

Сколько по времени занимает один запрос?

Могу подтвердить, у нас на двух проектах точно так.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Пусть висит, такие вопросы всплывают постоянно.

Разнесите нагрузку по времени.

Сколько это длится и с какой частотой повторяется?

Настройка применилась вообще?

У нас это вылезло на проекте с большим каталогом.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Проверял на трёх проектах подряд, картина устойчивая.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

До сих пор помню, чем это закончилось.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

Тема как раз вовремя, сам этим занят.

Написано верно, добавить почти нечего.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Уточню, иначе можно уйти не в ту сторону.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тема как раз вовремя, сам этим занят.

Полгода жил с этим, пока не надоело.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Жду продолжения.

Долго держал старую схему, пока не упёрся.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Держите нас в курсе.

Совпадает с моим опытом до цифры.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.