Проверка заголовков ответа у всех страниц каталога

Начал разбираться и нашёл больше вопросов, чем ответов.

Даю всё, что есть, вдруг зацепитесь за деталь.

После переезда на другой хостинг скорость обхода упала примерно вдвое. Каталог на 300 тысяч страниц, обход раз в неделю.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Жду любых мыслей, даже сырых.

Меняйте по одному, иначе не поймёте причину.

Тут не всё так однозначно, смотря какой объём.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

У нас это вылезло на проекте с большим каталогом.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Похоже на правду, у меня цифры близкие.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Жду продолжения.

Проверьте, что ответ полный.

Один замер стоит десяти рассуждений.

У меня это вскрылось только на сверке данных.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Прочитал и узнал свой прошлый год.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Это верно для одной площадки и неверно для другой.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Плюсую, сам пришёл к тому же через полгода проб.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Верно по сути, дальше нюансы.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Пусть висит, такие вопросы всплывают постоянно.

Меняйте по одному, иначе не поймёте причину.