Проверка кодов ответа по всему сайту за ночь

Задача техническая, но упирается в объём и темп.

Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Каталог на 300 тысяч страниц, обход раз в неделю. После переезда на другой хостинг скорость обхода упала примерно вдвое.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хочется услышать цифры от практиков.

Соглашусь, хотя пришёл к этому через неприятность.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Пришёл к этому не сразу, сначала сделал ошибку.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Если найдёте причину, поделитесь.

Всё сходится с тем, что вижу у себя.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Спасибо за подробное описание, так отвечать проще.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные серверные прокси.

Добавьте адресов, потоки трогать не надо.

Прогон падает всегда в одном месте?

Так и работает, проверено не один раз.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Добавьте адресов, потоки трогать не надо.

Всё верно написали выше, добавлю от себя пару деталей.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Так и делаю, работает без сюрпризов.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Настройка применилась вообще?

Это началось после какого-то изменения?

Один замер стоит десяти рассуждений.

У меня картина совпадает почти полностью.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Подтверждаю по своей практике.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Хороший разбор, добавлю в закладки.

Что в логах в этот момент?

Настройка применилась вообще?