Сбор выдачи по низкочастотным запросам: расход адресов в разы выше

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Ночной прогон занимает около шести часов, утром данные должны лежать в таблице. Пробовал разносить прогон по времени, картина поменялась, но не полностью.

Как считаете вы? Интересует порядок, а не общие слова.

Был случай, когда всё сошлось только на третий день разбора.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Если поможет, напишите здесь же, пригодится следующим.

Совет по выбору: просите подсети из разных диапазонов, а не сотню подряд. У приватные прокси IPv4 и SOCKS5 это в порядке вещей, поэтому и остался.

Так и есть, проходил через это в прошлом году.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Поправлю: дело не в объёме, а в темпе.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Работает, пока объём небольшой. Дальше правила другие.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Проверял на трёх проектах подряд, картина устойчивая.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Отпишитесь, чем закончится, тема полезная.

Смотрите подсети, а не только число адресов.

Осторожнее с этим выводом, он верен не всегда.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Если поможет, напишите здесь же, пригодится следующим.

Сколько адресов и какой темп при этом стоит?

Долго держал старую схему, пока не упёрся.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Хороший разбор, добавлю в закладки.

Тут есть тонкость, о которой обычно забывают.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Подтверждаю, у нас было ровно то же самое.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Хороший разбор, добавлю в закладки.

Начните с малого объёма и растите постепенно.

Начните с малого объёма и растите постепенно.

А что показывают логи в момент падения?