Сбор позиций сайта: с какой частотой снимать, чтобы данные были живые

Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.

Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Проверял на двух серверах, разница между ними доходила до трёх пунктов.

Хочется услышать цифры от практиков.

Работает, пока объём небольшой. Дальше правила другие.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Какая версия программы и что с настройками по умолчанию?

На другой машине воспроизводится?

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от адреса с безлимитным трафиком закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Разбейте прогон на части, станет ровнее.

Так и есть, проходил через это в прошлом году.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Начните с малого объёма и растите постепенно.

Поправлю: дело не в объёме, а в темпе.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Считайте по темпу, всё остальное вторично.

Почти так, но одна деталь меняет вывод.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Если поможет, напишите здесь же, пригодится следующим.

Тут легко перепутать два разных момента.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Держите запас, ровно по расчёту работать не выйдет.