Краулер не видит часть разделов, ссылки есть

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Начну с цифр, они тут важнее слов.

Карта обновляется автоматически раз в сутки. Каталог на 300 тысяч страниц, обход раз в неделю. Панель показывает одно число, обход даёт другое, расхождение около восьми процентов.

Хочется услышать, чем это заканчивается на практике.

Не совсем так, и разница тут существенная.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные адреса IPv4 как раз поэтому.

Смотрите разброс подсетей.

Прочитал и узнал свой прошлый год.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хороший вопрос, редко разбирают.

На маленьких объёмах верно, на больших уже нет.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Пусть висит, такие вопросы всплывают постоянно.

Могу подтвердить, у нас на двух проектах точно так.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Обновите список адресов и повторите.

Данные теряются равномерно или кусками?

Какой объём и за какое окно?

Мы решили это переносом прогона на другое время.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Хороший вопрос, редко разбирают.

Долго держал старую схему, пока не упёрся.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Полгода жил с этим, пока не надоело.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.