Как отличить настоящее падение позиций от сбоя съёма

Третий месяц веду ежедневный съём, и вот что вылезло.

Вводные, чтобы не гадать.

Держу 60 адресов, потоков ставлю 120, глубина топ-50. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект.

Хочется услышать цифры от практиков.

Сколько адресов и какой темп при этом стоит?

У нас на прошлом проекте это выглядело так.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тут есть тонкость, о которой обычно забывают.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Одно уточнение, иначе расчёт уедет.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Проверьте, что настройка вообще применилась.

Полгода назад ловил то же самое.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Всё верно написали выше, добавлю от себя пару деталей.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Держите нас в курсе.

Сколько адресов и какой темп при этом стоит?

Логи в помощь, без них это гадание.