Сбор выдачи по низкочастотным запросам: расход адресов в разы выше

Сижу над этим второй день, свежий взгляд не помешает.

На узких регионах данных мало, и это отдельная головная боль. Держу два набора адресов, один под съём, второй под проверки.

Как считаете вы? Интересует порядок действий.

Мы упирались в то же, пока не поменяли подход.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Будет результат, напишите сюда.

Совет по выбору: просите подсети из разных диапазонов. Сотня подряд толку не даст. У приватные прокси IPv4 и SOCKS5 это в порядке вещей, поэтому и остался.

Верно по сути, дальше нюансы.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Почти так, но одна деталь меняет вывод.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Ночной прогон удобен тем, что данные лежат в таблице к началу рабочего дня. Тишина на площадке тут ни при чём. Это единственная его настоящая польза.

Тут стоит разделить два вопроса, их часто путают.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Помню, как искал причину два дня подряд.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Тема нужная, подписался.

Замерьте и сравните, догадки тут не помогут.

Это верно для одной площадки и неверно для другой.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Забрал себе в заметки.

Сколько потоков стоит на прогоне?

Было такое прошлой осенью, разбор занял вечер.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Такие темы и держат форум.

Поправлю: дело в темпе, объём тут вторичен.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

У меня картина совпадает почти полностью.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Такие темы и держат форум.

Сохраняйте сырое, пересчитать успеете.

Сохраняйте сырое, пересчитать успеете.

Какая версия программы и что с настройками по умолчанию?