Страницы выпали из индекса пачкой, ищем причину

Ниже цифры и вопрос по ним.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Часть разделов робот обходит раз в две недели, часть каждый день. Каталог на 300 тысяч страниц, обход раз в неделю.

Подскажите, с чего начать разбор.

У нас похожая история была весной.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Будет результат, напишите сюда.

Не совсем так, и разница тут существенная.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Если найдёте причину, поделитесь.

Есть возможность повторить прогон и сравнить?

Какая версия программы и что с настройками по умолчанию?

Тут стоит разделить два вопроса, их часто путают.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Плюсую, сам пришёл к тому же через полгода проб.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Первый раз списал на случайность, второй раз уже нет.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

У нас на прошлом проекте это выглядело так.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.