Позиции в выдаче по картинкам и видео: чем снимать

Пишу по горячим следам, вчера потратил на это полдня.

Постараюсь коротко.

Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. Держу 60 адресов, потоков ставлю 120, глубина топ-50.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Буду признателен за конкретику.

Так делать можно, но есть путь короче.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Половина верна, вторую половину поправлю.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Проверяйте из той же программы. Браузер показывает своё.

Прогон падает всегда в одном месте?

Ответ приходит пустой или с содержимым?

Обновите список адресов и повторите.

Подтверждаю по своей практике.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Сверяйте полноту после каждого прогона.

Разбирались втроём, нашли случайно.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Слежу за темой.

Что менялось за последнюю неделю?

Мы решили это переносом прогона на другое время.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Тема как раз вовремя, сам этим занят.

У коллеги было то же самое, причина оказалась смешной.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Если найдёте причину, поделитесь.

Дополню про случай, когда это перестаёт работать.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Проверьте на второй машине, это отсекает половину версий.

Пришёл к этому не сразу, сначала сделал ошибку.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Слежу за темой.