Сколько потоков выдерживает съём без проверок на робота

Разбирался сам, прочитал что нашёл, единого ответа не увидел.

Вводные ниже.

На узких регионах данных мало, и это отдельная головная боль. Держу два набора адресов, один под съём, второй под проверки.

Подскажите направление, дальше сам.

Присоединяюсь, схема рабочая.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тема нужная, подписался.

Был похожий случай, разбирали неделю.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Отпишитесь, что получилось.

Пул под такие объёмы держу постоянный. Беру приватные серверные прокси, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Сколько это длится и с какой частотой повторяется?

Сколько по времени занимает один запрос?

Всё сходится с тем, что вижу у себя.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

На одном проекте это стоило нам сорванного срока.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Если поможет, напишите здесь же, пригодится следующим.

Поправлю: дело в темпе, объём тут вторичен.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Тема нужная, подписался.

Данные теряются равномерно или кусками?

Прогон падает всегда в одном месте?

Какой объём и за какое окно?

Уточните пару моментов, иначе гадаем.