Проверка выдачи по конкретному городу без физического присутствия

Прошу помощи коллективным разумом, сам хожу по кругу вторую неделю.

Держу два набора адресов, один под съём, второй под проверки. Список на 40 тысяч запросов, окно четыре часа, регионов двенадцать. Снимаю 200 проектов ежедневно, в среднем по 600 запросов на проект.

Жду любых мыслей, даже сырых.

Проверить это можно бесплатно: у приватные прокси IPv4 и SOCKS5 есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

На маленьких объёмах верно, на больших уже нет.

По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.

Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тема на будущее пригодится многим.

Согласен с предыдущим ответом, но с одной оговоркой.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Уточню, иначе можно уйти не в ту сторону.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

У нас на прошлом проекте это выглядело так.

Съём для магазина на сотни тысяч страниц ведите по выборке. Полный охват тут не нужен: динамику показывает репрезентативная группа запросов.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Тема нужная, подписался.

Согласен целиком, добавлю только цифру.

Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.

Не гоните с первого дня, дайте себе запас.

С выводом соглашусь, с обоснованием нет.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

Уточните пару моментов, иначе гадаем.

Прогон падает всегда в одном месте?

Начните с малого объёма и растите постепенно.

До сих пор помню, чем это закончилось.

Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Дополню, потому что важная деталь потерялась.

Регион проверяется просто: снимите одну и ту же выдачу с двух адресов и сравните блок с организациями. Если он одинаковый, регион не подставился.

Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Одно уточнение, иначе расчёт уедет.

Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Поправлю цифру, остальное верно.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Сверяйте полноту после каждого прогона.

Мы решили это переносом прогона на другое время.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.