Дубли страниц от параметров: адреса плодятся бесконечно

Обход большого сайта дал неожиданный результат.

Начну с цифр, они тут важнее слов.

Карта обновляется автоматически раз в сутки. Сайт на 180 тысяч страниц, обновляется ежедневно.

Жду любых мыслей, даже сырых.

Похоже на правду, у меня цифры близкие.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

Не гоните с первого дня, дайте себе запас.

Всё верно написали выше, добавлю от себя пару деталей.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Тема нужная, подписался.

Верно, и это не единичный случай.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Работает, пока объём небольшой. Дальше правила другие.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Работает, пока не выросли объёмы.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Сохранил, пригодится в следующем проекте.

Согласен с предыдущим ответом, но с одной оговоркой.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Мы решили это переносом прогона на другое время.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.