Свой съёмщик позиций против готового сервиса: что вышло по деньгам

Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Держу 60 адресов, потоков ставлю 120, глубина топ-50. Проверял на двух серверах, разница между ними доходила до трёх пунктов.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Кто как это обходит?

Поправлю: дело в темпе, объём тут вторичен.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через прокси IPv4 под сбор данных.

Проверьте на второй машине, это отсекает половину версий.

Добавьте адресов, потоки трогать не надо.

Именно так и есть, спорить не о чем.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

Пусть висит, такие вопросы всплывают постоянно.

У коллеги было то же самое, причина оказалась смешной.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

Всё верно написали выше, добавлю от себя пару деталей.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

На другой машине воспроизводится?

До сих пор помню, чем это закончилось.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

Пусть висит, такие вопросы всплывают постоянно.

Могу подтвердить, у нас на двух проектах точно так.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Добавлю тему в закладки.

Держите запас, впритык не работает.

Сохраняйте сырое, пересчитать успеете.

Расскажу, как выкручивались мы.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Ставьте таймаут, иначе висит вечно.

Расскажу, как выкручивались мы.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Спасибо за подробное описание, так отвечать проще.

Согласен с предыдущим ответом, но с одной оговоркой.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Уточнение по мелочи, но она стоит времени.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300