Сколько потоков выдерживает съём без проверок на робота

Задача обычная, а вопрос упирается в цифры, которые каждый называет свои.

Условия задачи вот такие.

Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Пробовал разносить прогон по времени, картина поменялась, но не полностью.

Хочется услышать цифры от практиков.

Согласен с предыдущим ответом, но с одной оговоркой.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Отпишитесь, чем закончится, тема полезная.

Проверял на трёх проектах подряд, картина устойчивая.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Если поможет, напишите здесь же, пригодится следующим.

Пул под такие объёмы держу постоянный. Беру приватные серверные прокси, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Это на всех площадках или на одной?

До этого работало? Что менялось перед тем, как сломалось?

У меня картина совпадает почти полностью.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Проверял на трёх проектах подряд, картина устойчивая.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Отпишитесь, чем закончится, тема полезная.

Тут есть тонкость, о которой обычно забывают.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Отпишитесь, чем закончится, тема полезная.

Это на всех площадках или на одной?

Это на всех площадках или на одной?

А что показывают логи в момент падения?

Уточните пару моментов, иначе гадаем.