Сбор позиций сайта: с какой частотой снимать, чтобы данные были живые

Пишу по горячим следам, вчера потратил на это полдня.

Сравнивал с панелью вебмастера за тот же день, расхождение стабильное. Держу 60 адресов, потоков ставлю 120, глубина топ-50.

Жду любых мыслей, даже сырых.

Замечание по существу, иначе расчёт поедет.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Что показывает простой запрос из консоли?

Это началось после какого-то изменения?

Мы прогоняем похожие объёмы. Пул на шестьдесят адресов от адреса с безлимитным трафиком закрывает и съём, и мониторинг, при этом трафик не считаем вообще.

Держите запас, ровно по расчёту работать не выйдет.

Верно по сути, дальше нюансы.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

Ставьте таймаут, иначе висит вечно.

Работает, пока объём небольшой. Дальше правила другие.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Проверьте, что настройка вообще применилась.

Дополню, потому что важная деталь потерялась.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Тема на будущее пригодится многим.

Замечание по существу, иначе расчёт поедет.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Проверьте на второй машине, это отсекает половину версий.