Проверка канонических адресов на большом каталоге

Начал разбираться и нашёл больше вопросов, чем ответов.

Ниже вводные, дальше сам вопрос.

Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Буду признателен за конкретику.

Согласен с предыдущим ответом, но с одной оговоркой.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Это на всех площадках или на одной?

Уточните пару моментов, иначе гадаем.

Одно уточнение, иначе расчёт уедет.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Это на всех площадках или на одной?