Апдейт Яндекса: когда начинать пересъём, чтобы не ловить переходное

Ниже разбор случая, который мне стоил двух вечеров.

Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект. Список на 40 тысяч запросов, окно четыре часа, регионов двенадцать.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Поделитесь, кто как выкручивается.

Проходил ровно этот путь года полтора назад.

Ночной прогон удобен тем, что данные лежат в таблице к началу рабочего дня. Тишина на площадке тут ни при чём. Это единственная его настоящая польза.

Мы решили это переносом прогона на другое время.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Сохраняйте сырое, пересчитать успеете.

Так и работает, проверено не один раз.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Проходил ровно этот путь года полтора назад.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Интересно, чем закончится.

Осторожнее с обобщением, случаи бывают разные.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Глубину топ-100 берите только там, где она нужна. Топ-20 собирается втрое быстрее и закрывает большинство отчётов.

Смотрите подсети, число адресов само по себе мало что даёт.

Пробовали снизить темп вдвое?

Именно так и есть, спорить не о чем.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

Хороший вопрос, редко разбирают.

Сколько адресов и какой темп при этом стоит?