Карта сайта на 2 миллиона адресов: как разбивать

Спрашиваю у тех, кто гоняет обходы регулярно.

Панель показывает одно число, обход даёт другое, расхождение около восьми процентов. Сайт на 180 тысяч страниц, обновляется ежедневно.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хочется услышать, чем это заканчивается на практике.

Совпадает с моим опытом до цифры.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Тут стоит разделить два вопроса, их часто путают.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Если найдёте причину, поделитесь.

Сверяйте полноту после каждого прогона.

Проверить это можно бесплатно: у адреса с безлимитным трафиком есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Ставьте таймаут, иначе висит вечно.

Первый раз списал на случайность, второй раз уже нет.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Пробовали снизить темп вдвое?

Считайте по темпу, всё остальное вторично.

Проверьте, что настройка вообще применилась.

Верно, и это не единичный случай.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

У нас это вылезло на проекте с большим каталогом.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Мы упирались в то же, пока не поменяли подход.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Сколько по времени занимает один запрос?

Какие паузы между запросами?

Согласен целиком, добавлю только цифру.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Меняйте по одному, иначе не поймёте причину.