Выдача отдаёт разное с двух адресов одной подсети

Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.

Кратко по условиям.

Держу два набора адресов, один под съём, второй под проверки. Сравнивал с панелью вебмастера за тот же день, расхождение стабильное.

Кто как это обходит?

У нас на прошлом проекте это выглядело так.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Смотрите подсети, число адресов само по себе мало что даёт.

Уточню, иначе можно уйти не в ту сторону.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Разбор годный, спорить не буду.

Логи в помощь, без них это гадание.

Тут легко перепутать два разных момента.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Если найдёте причину, поделитесь.

Первый раз списал на случайность, второй раз уже нет.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Проверьте, что ответ полный.

Работает, пока не выросли объёмы.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Полгода назад ловил то же самое.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Почти так, но одна деталь меняет вывод.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Пишите, если понадобится уточнить.

Что в логах в этот момент?

Сколько это длится и с какой частотой повторяется?

Настройка применилась вообще?

Сколько потоков стоит на прогоне?

Дополню про случай, когда это перестаёт работать.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Будет результат, напишите сюда.

Это на всех площадках или на одной?

Ставьте паузу с разбросом, не ровную.