Скорость обхода упала после переезда на новый хостинг

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Ниже вводные, дальше сам вопрос.

Часть разделов робот обходит раз в две недели, часть каждый день. Каталог на 300 тысяч страниц, обход раз в неделю. После переезда на другой хостинг скорость обхода упала примерно вдвое.

Буду признателен за конкретику.

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные прокси с целыми подсетями как раз поэтому.

Был случай, когда всё сошлось только на третий день разбора.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Уточните пару моментов, иначе гадаем.

Это на всех площадках или на одной?

До этого работало? Что менялось перед тем, как сломалось?

Логи в помощь, без них это гадание.

Добавлю то, что обычно вылезает на второй месяц работы.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Тут легко перепутать два разных момента.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полгода назад ловил то же самое.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Пришёл к этому не сразу, сначала сделал ошибку.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

А что показывают логи в момент падения?