Проверка индексации через выдачу против панели вебмастера

Задача техническая, но упирается в объём и темп.

Панель показывает одно число, обход даёт другое, расхождение около восьми процентов. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. После переезда на другой хостинг скорость обхода упала примерно вдвое.

Как считаете вы? Интересует порядок, а не общие слова.

Какая версия программы и что с настройками по умолчанию?

Так и есть, проходил через это в прошлом году.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Если поможет, напишите здесь же, пригодится следующим.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня серверные адреса IPv4, два терабайта в месяц уходят незаметно и в счёт не попадают.

У нас на прошлом проекте это выглядело так.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Проверял на трёх проектах подряд, картина устойчивая.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Начинал с того же, потом переделал.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Держите запас, ровно по расчёту работать не выйдет.

Уточните пару моментов, иначе гадаем.

Какая версия программы и что с настройками по умолчанию?