Как отличить проблему индексации от проблемы сбора данных

Ниже цифры и вопрос по ним.

После переезда на другой хостинг скорость обхода упала примерно вдвое. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Панель показывает одно число, обход даёт другое, расхождение около восьми процентов.

Буду признателен за конкретику.

Был случай, когда всё сошлось только на третий день разбора.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

А что показывают логи в момент падения?

Сколько адресов и какой темп при этом стоит?

Тут ничего нового не скажу, только подтвержу.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Начинал с того же, потом переделал.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Уточните пару моментов, иначе гадаем.

Какая версия программы и что с настройками по умолчанию?

У нас на прошлом проекте это выглядело так.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Тема нужная, подписался.

У меня картина совпадает почти полностью.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Добавлю то, что обычно вылезает на второй месяц работы.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Начните с малого объёма и растите постепенно.

Осторожнее с этим выводом, он верен не всегда.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Считайте по темпу, всё остальное вторично.

Одно уточнение, иначе расчёт уедет.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.