Анализ логов за месяц: какие разделы робот обходит редко

Проверяю регулярно, но в этот раз цифры не сошлись.

Расклад такой.

Часть разделов робот обходит раз в две недели, часть каждый день. После переезда на другой хостинг скорость обхода упала примерно вдвое. Карта сайта разбита на файлы по пятьдесят тысяч адресов.

Кто как это обходит?

Долго держал старую схему, пока не упёрся.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Уменьшите потоки вдвое и замерьте заново.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через прокси IPv4 под сбор данных.

Проверьте, что настройка вообще применилась.

Тут ничего нового не скажу, только подтвержу.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

На другой машине воспроизводится?

Уточните пару моментов, иначе гадаем.

Подтверждаю, у нас было ровно то же самое.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.