Скорость обхода упала после переезда на новый хостинг

Спрашиваю у тех, кто гоняет обходы регулярно.

Коротко об условиях.

Карта обновляется автоматически раз в сутки. Каталог на 300 тысяч страниц, обход раз в неделю. Робот заходит неравномерно, это видно по логам.

Поделитесь, кто как выкручивается.

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные прокси с целыми подсетями как раз поэтому.

Мы упирались в то же, пока не поменяли подход.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

А что показывают логи в момент падения?

Сколько это длится и с какой частотой повторяется?

Пробовали снизить темп вдвое?

Сначала логи, потом версии.

Дополню про случай, когда это перестаёт работать.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

С выводом соглашусь, с обоснованием нет.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Наступал на это в прошлом сезоне.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

У меня это вскрылось только на сверке данных.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Это на всех площадках или на одной?