Проверка индексации 300 тысяч страниц: чем и с какой скоростью

Начал разбираться и нашёл больше вопросов, чем ответов.

Опишу по порядку, что есть и чего не хватает.

Каталог на 300 тысяч страниц, обход раз в неделю. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. После переезда на другой хостинг скорость обхода упала примерно вдвое.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Подскажите, где я ошибаюсь.

Считайте по темпу, всё остальное вторично.

Уменьшите потоки вдвое и замерьте заново.

Всё верно написали выше, добавлю от себя пару деталей.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Если поможет, напишите здесь же, пригодится следующим.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные адреса IPv4, когда старый поставщик начал резать канал на длинных прогонах.

Проверьте, что настройка вообще применилась.

Считаю так же, и цифры у меня близкие.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Проверьте, что настройка вообще применилась.

А что показывают логи в момент падения?

Проверял на трёх проектах подряд, картина устойчивая.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Логи в помощь, без них это гадание.