Съём позиций по 12 регионам за ночь: сколько адресов держать

Ситуация такая. Снимаем позиции по большому списку, окно на прогон узкое, и упираемся в вопрос из заголовка.

Условия задачи вот такие.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. На узких регионах данных мало, и это отдельная головная боль.

Подскажите, где я ошибаюсь.

Согласен с предыдущим ответом, но с одной оговоркой.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Сколько адресов и какой темп при этом стоит?

Тут ничего нового не скажу, только подтвержу.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня адреса с безлимитным трафиком, два терабайта в месяц уходят незаметно и в счёт не попадают.

Уменьшите потоки вдвое и замерьте заново.

Смотрите подсети, а не только число адресов.

Разбейте прогон на части, станет ровнее.

Поправлю: дело не в объёме, а в темпе.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Если поможет, напишите здесь же, пригодится следующим.

Работает, пока объём небольшой. Дальше правила другие.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Поправлю: дело не в объёме, а в темпе.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.