Топ-100 по Google собирается втрое дольше, чем по Яндексу

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Пробовал разносить прогон по времени, картина поменялась, но не полностью. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. Сравнивал с панелью вебмастера за тот же день, расхождение стабильное.

Кто сталкивался, поделитесь опытом.

С выводом соглашусь, с обоснованием нет.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

Разбейте задачу на части.

На всех площадках или на одной конкретной?

У нас это вылезло на проекте с большим каталогом.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Добавлю тему в закладки.

Сколько это длится и с какой частотой повторяется?

А что показывают логи в момент падения?

Именно так и есть, спорить не о чем.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Отпишитесь, что получилось.

Всё сходится с тем, что вижу у себя.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Отпишитесь, чем закончится, тема полезная.

Пара оговорок, без них совет неполный.

Ночной прогон удобен тем, что данные лежат в таблице к началу рабочего дня. Тишина на площадке тут ни при чём. Это единственная его настоящая польза.

Ставьте паузу с разбросом, не ровную.

Начинал с готовых сервисов, потом ушёл на своё.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Расскажу, как выкручивались мы.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Согласен с предыдущим ответом, но с одной оговоркой.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Всё правильно расписано, повторю своими словами.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Почти так, но одна деталь меняет вывод.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Если найдёте причину, поделитесь.