Как отличить проблему индексации от проблемы сбора данных

Спрашиваю, потому что второй проект подряд одно и то же.

Сайт на 180 тысяч страниц, обновляется ежедневно. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Карта сайта разбита на файлы по пятьдесят тысяч адресов.

Правильно ли я вообще ставлю вопрос?

Сначала делал так же, потом переделал всё.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Какая версия программы и что с настройками по умолчанию?

Пробовали на другой машине?

Проверял ровно это, картина совпала.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Ловил это дважды, оба раза по разным причинам.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Уточните пару моментов, иначе гадаем.

Проверяли на маленькой выборке?

Проверял на трёх проектах подряд, картина устойчивая.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Жду продолжения.

Тот же вывод, только я шёл к нему дольше.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Дополню про случай, когда это перестаёт работать.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Не гоните с первого дня, дайте себе запас.

Это верно для одной площадки и неверно для другой.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Какая версия программы и что с настройками по умолчанию?

До этого работало? Что менялось перед тем, как сломалось?

Разбейте прогон на части, станет ровнее.

Уточню, иначе можно уйти не в ту сторону.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.