Парсинг выдачи яндекса без капчи

Третий месяц веду ежедневный съём, и вот что вылезло.

На узких регионах данных мало, и это отдельная головная боль. Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект.

Буду признателен за конкретику.

Пул под такие объёмы держу постоянный. Беру прокси IPv4 под сбор данных, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

А что показывают логи в момент падения?

Начните с малого объёма и растите постепенно.

Уточните пару моментов, иначе гадаем.

А что показывают логи в момент падения?

Добавлю то, что обычно вылезает на второй месяц работы.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Одно уточнение, иначе расчёт уедет.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Пришёл к этому не сразу, сначала сделал ошибку.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Расскажу, чем закончилось у меня.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Добавлю то, что обычно вылезает на второй месяц работы.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Уточните пару моментов, иначе гадаем.