Съём позиций по 40 тысячам запросов в окно четыре часа: считаем адреса

Третий месяц веду ежедневный съём, и вот что вылезло.

На узких регионах данных мало, и это отдельная головная боль. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. Сравнивал с панелью вебмастера за тот же день, расхождение стабильное.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Как считаете вы? Интересует порядок, а не общие слова.

У меня картина совпадает почти полностью.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Поправлю: дело не в объёме, а в темпе.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Долго держал старую схему, пока не упёрся.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

На другой машине воспроизводится?

Какая версия программы и что с настройками по умолчанию?

Уточните пару моментов, иначе гадаем.

На другой машине воспроизводится?

Уточните пару моментов, иначе гадаем.

Сколько адресов и какой темп при этом стоит?

Считаю так же, и цифры у меня близкие.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Считайте по темпу, всё остальное вторично.

На другой машине воспроизводится?

На другой машине воспроизводится?