Проверка кодов ответа по всему сайту за ночь

Проверяю регулярно, но в этот раз цифры не сошлись.

Каталог на 300 тысяч страниц, обход раз в неделю. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Панель показывает одно число, обход даёт другое, расхождение около восьми процентов.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Как считаете вы? Интересует порядок, а не общие слова.

Тут ничего нового не скажу, только подтвержу.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Полгода назад ловил то же самое.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Тема нужная, подписался.

У меня картина совпадает почти полностью.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Держите нас в курсе.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные серверные прокси.

Смотрите подсети, а не только число адресов.

Это на всех площадках или на одной?

Согласен с предыдущим ответом, но с одной оговоркой.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Смотрите подсети, а не только число адресов.

Считаю так же, и цифры у меня близкие.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Так и есть, проходил через это в прошлом году.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Это на всех площадках или на одной?

Сколько адресов и какой темп при этом стоит?

Начните с малого объёма и растите постепенно.

Подтверждаю, у нас было ровно то же самое.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Проверял это на своей задаче, вывод такой же.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Отпишитесь, чем закончится, тема полезная.

Сколько адресов и какой темп при этом стоит?

Какая версия программы и что с настройками по умолчанию?