Как проверять индексацию по расписанию и не ловить отказы

Задача техническая, но упирается в объём и темп.

Логи за месяц весят около двенадцати гигабайт, разбираю их частями. После переезда на другой хостинг скорость обхода упала примерно вдвое.

Подскажите, где я ошибаюсь.

Всё верно написали выше, добавлю от себя пару деталей.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Расскажу, чем закончилось у меня.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Если поможет, напишите здесь же, пригодится следующим.

Смотрите подсети, а не только число адресов.

Работает, пока объём небольшой. Дальше правила другие.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.