Съём позиций через API сервисов против своего сбора: где предел

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Вводные, чтобы не гадать.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Пробовал разносить прогон по времени, картина поменялась, но не полностью.

Кто сталкивался, поделитесь опытом.

Начните с малого объёма и растите постепенно.

А что показывают логи в момент падения?

До этого работало? Что менялось перед тем, как сломалось?

Разбейте прогон на части, станет ровнее.

Всё верно написали выше, добавлю от себя пару деталей.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Если поможет, напишите здесь же, пригодится следующим.

Смотрите подсети, а не только число адресов.

Согласен с предыдущим ответом, но с одной оговоркой.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Какая версия программы и что с настройками по умолчанию?

Какая версия программы и что с настройками по умолчанию?

Тут есть тонкость, о которой обычно забывают.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Осторожнее с этим выводом, он верен не всегда.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.