Позиции в выдаче по картинкам и видео: чем снимать

Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.

Что имеем на входе.

Список на 40 тысяч запросов, окно четыре часа, регионов двенадцать. Проверял на двух серверах, разница между ними доходила до трёх пунктов.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Подскажите, где я ошибаюсь.

Добавлю то, что обычно вылезает на второй месяц работы.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Работает, пока объём небольшой. Дальше правила другие.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Логи в помощь, без них это гадание.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Держите запас, ровно по расчёту работать не выйдет.

Проверял это на своей задаче, вывод такой же.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Логи в помощь, без них это гадание.

Начинал с того же, потом переделал.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Держите нас в курсе.

До этого работало? Что менялось перед тем, как сломалось?

Пришёл к этому не сразу, сначала сделал ошибку.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Хороший разбор, добавлю в закладки.

Начинал с того же, потом переделал.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Тема нужная, подписался.

Добавлю то, что обычно вылезает на второй месяц работы.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Держите запас, ровно по расчёту работать не выйдет.

Расскажу, чем закончилось у меня.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Держите нас в курсе.