Выдача отдаёт разное с двух адресов одной подсети

Пишу по горячим следам, вчера потратил на это полдня.

По порядку.

Пробовал разносить прогон по времени, картина поменялась, но не полностью. Держу 60 адресов, потоков ставлю 120, глубина топ-50.

Подскажите, где я ошибаюсь.

У нас на прошлом проекте это выглядело так.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Считайте по темпу, всё остальное вторично.

Одно уточнение, иначе расчёт уедет.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Хороший разбор, добавлю в закладки.

Разбейте прогон на части, станет ровнее.

Поправлю: дело не в объёме, а в темпе.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Тема нужная, подписался.

Долго держал старую схему, пока не упёрся.

Держите время съёма постоянным. Прогон в семь утра и прогон в час дня дают разные картины, а разговор с заказчиком идёт про динамику.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Проверьте, что настройка вообще применилась.

Работает, пока объём небольшой. Дальше правила другие.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

У нас на прошлом проекте это выглядело так.

Расхождение с панелью вебмастера почти всегда объясняется тремя вещами: разное время съёма, разная привязка к региону и разное устройство выборки. Панель усредняет за сутки, вы снимаете точку.

Тут есть тонкость, о которой обычно забывают.

На 40 тысячах запросов за четыре часа общий темп около 167 запросов в минуту. При восьми запросах в минуту на адрес нужен 21 адрес, и это без запаса. Запас закладываю двойной, потому что часть адресов отваливается на ровном ходу.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

curl -s -x socks5://user:pass@10.0.0.5:1080 \
  "https://example.org/search?text=запрос&lr=213" | head -c 300

Хороший разбор, добавлю в закладки.

Сколько адресов и какой темп при этом стоит?

Это на всех площадках или на одной?

Какая версия программы и что с настройками по умолчанию?

Сколько адресов и какой темп при этом стоит?

Добавлю то, что обычно вылезает на второй месяц работы.

Считать надо от темпа, а не от числа потоков. Потоки это ваша сторона, а площадка считает запросы с адреса за минуту. Берёте допустимый темп на адрес, делите на него общий темп прогона, получаете нижнюю границу по адресам.

Если поможет, напишите здесь же, пригодится следующим.

А что показывают логи в момент падения?

Уменьшите потоки вдвое и замерьте заново.