Проверка скорости загрузки страниц по всему каталогу

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Панель показывает одно число, обход даёт другое, расхождение около восьми процентов. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Жду любых мыслей, даже сырых.

Мы решили это переносом прогона на другое время.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Помню, как искал причину два дня подряд.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Согласен с предыдущим ответом, но с одной оговоркой.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Работает, пока не выросли объёмы.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Было такое прошлой осенью, разбор занял вечер.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Забрал себе в заметки.

Что менялось за последнюю неделю?

Уменьшите потоки вдвое и замерьте заново.