Съём позиций по 12 регионам за ночь: сколько адресов держать

Третий месяц веду ежедневный съём, и вот что вылезло.

Вводные ниже.

Пробовал разносить прогон по времени, картина поменялась, но не полностью. Проверял на двух серверах, разница между ними доходила до трёх пунктов. Ядро на 18 тысяч фраз, съём через день.

Буду признателен за конкретику.

Плюсую, сам пришёл к тому же через полгода проб.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.

Сколько потоков стоит на прогоне?

Так же считаю, и коллеги считают так же.

Считать надо от темпа. Потоки это ваша сторона, площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня адреса с безлимитным трафиком, два терабайта в месяц уходят незаметно и в счёт не попадают.

Пишите состояние построчно.

Замерьте и сравните, догадки тут не помогут.

Уменьшите потоки вдвое и замерьте заново.

Работает, пока объём небольшой. Дальше правила другие.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Расхождение между сервисами объясняется устройством выборки: кто-то берёт первую страницу, кто-то склеивает несколько, кто-то чистит рекламные блоки. Сравнивать их напрямую бессмысленно.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Интересно, чем закончится.

Половина верна, вторую половину поправлю.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Позиции по коммерческим запросам живут своей жизнью в течение дня. Если снимать утром и вечером, разница в десять пунктов норма, и это не сбой.

Осторожнее с этим выводом, он верен не всегда.

Если данные утром оказались пустыми, смотрите запись результата. Сам прогон обычно проходит нормально. Чаще всего сбор прошёл, а сохранение упало на последнем шаге.