Позиции скачут на 20 пунктов

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Начну с цифр, они тут важнее слов.

Держу 60 адресов, потоков ставлю 120, глубина топ-50. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. Ночной прогон занимает около шести часов, утром данные должны лежать в таблице.

Подскажите, где я ошибаюсь.

Какая версия программы и что с настройками по умолчанию?

А что показывают логи в момент падения?

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватные серверные прокси, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Полгода назад ловил то же самое.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Если поможет, напишите здесь же, пригодится следующим.

Начинал с того же, потом переделал.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тема нужная, подписался.

Был случай, когда всё сошлось только на третий день разбора.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Полгода назад ловил то же самое.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Тут есть тонкость, о которой обычно забывают.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Логи в помощь, без них это гадание.

Так и есть, проходил через это в прошлом году.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

А что показывают логи в момент падения?

На другой машине воспроизводится?

Проверял на трёх проектах подряд, картина устойчивая.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Поправлю: дело не в объёме, а в темпе.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Подтверждаю, у нас было ровно то же самое.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.