Анализ логов за месяц: какие разделы робот обходит редко

Проверяю регулярно, но в этот раз цифры не сошлись.

Сначала обстановка, вопрос в конце.

Карта обновляется автоматически раз в сутки. Робот заходит неравномерно, это видно по логам. Сайт на 180 тысяч страниц, обновляется ежедневно.

Если у кого есть цифры, покажите.

Разбирались втроём, нашли случайно.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Уберите лишние потоки, толку от них нет.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через прокси IPv4 под сбор данных.

Начните с пробы на тысяче записей.

Соглашусь, хотя пришёл к этому через неприятность.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Сколько адресов и из скольких подсетей?

Уточните пару моментов, иначе гадаем.

Так и есть, проходил через это в прошлом году.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.