Проверка скорости загрузки страниц по всему каталогу

Задача техническая, но упирается в объём и темп.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Логи за месяц весят около двенадцати гигабайт, разбираю их частями.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хочется услышать цифры от практиков.

Пришёл к этому не сразу, сначала сделал ошибку.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Проверял на трёх проектах подряд, картина устойчивая.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Считаю так же, и цифры у меня близкие.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Работает, пока объём небольшой. Дальше правила другие.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Пришёл к этому не сразу, сначала сделал ошибку.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Держите нас в курсе.

До этого работало? Что менялось перед тем, как сломалось?

Разбейте прогон на части, станет ровнее.