Работаю с агентством, проектов много, съём ежедневный. Вопрос вот в чём.
Обстановка простая, а ответа не нахожу.
Держу два набора адресов, один под съём, второй под проверки. Проверял на двух серверах, разница между ними доходила до трёх пунктов. Ночной прогон занимает около шести часов, утром данные должны лежать в таблице.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Готов сам проверить, скажите только что.
Написано верно, добавить почти нечего.
Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Проверял это на своей задаче, вывод такой же.
Глубину и частоту подбирайте под задачу. Ежедневный топ-100 по всему ядру это расход ради расхода, обычно хватает топ-20 каждый день и топ-100 раз в неделю.
На маленьких объёмах верно, на больших уже нет.
Пересъём после апдейта начинайте через сутки. Раньше вы снимаете переходное состояние, и график получается рваным.
Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Совпадает с моим опытом до цифры.
По узким регионам берите среднее за несколько замеров. Одна точка там недостоверна. Одиночный съём там даёт слишком большой разброс.
curl -s -x socks5://user:pass@10.0.0.5:1080 \ "https://example.org/search?text=запрос&lr=213" | head -c 300
Забрал себе в заметки.
Мы решили это переносом прогона на другое время.
Снимайте с одного и того же набора адресов, если сравниваете динамику. Смена пула между съёмами добавляет разброс, который потом принимают за движение позиций.
Тут легко перепутать два разных момента.
Историю позиций храните с отметкой, каким набором адресов и в какое время снято. Без этого спорить о расхождениях невозможно.
Тема на будущее пригодится многим.
Дополню про случай, когда это перестаёт работать.
Персонализация выдачи работает и без входа в аккаунт: учитывается регион, устройство и прошлые заходы с адреса. Свежий адрес даёт более чистую картину.
Проверяли на маленькой выборке?
Что менялось за последнюю неделю?
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.