Разделы · Индексация и техаудит
Массовая проверка индексации в Яндексе упирается в проверку на робота
5 ответов · 1 964 просмотров
- сообщений 1 245
- на форуме 8 мес
Спрашиваю у тех, кто гоняет обходы регулярно.
После переезда на другой хостинг скорость обхода упала примерно вдвое. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Робот заходит неравномерно, это видно по логам.
Буду признателен за конкретику.
- сообщений 2 470
- на форуме 3 мес
Какие паузы между запросами?
- сообщений 760
- на форуме 10 мес
Подтверждаю, у нас было ровно то же самое.
Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.
Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.
Хороший вопрос, редко разбирают.
- сообщений 455
- на форуме 1 года
Половина верна, вторую половину поправлю.
Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.
$ ./obhod --start https://example.org/ --rps 8 --out kody.csv 200 -> 284 110 301 -> 12 448 404 -> 1 902
- сообщений 1 860
- на форуме 4 мес
Так делать можно, но есть путь короче.
Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.
- сообщений 2 890
- на форуме 2 мес
Пробовали на другой машине?
На всех площадках или на одной конкретной?
Рядом в разделе
- Проверка канонических адресов на большом каталогеИндексация и техаудит · seo_kotel4ответов4 042 просм.
Обход сайта с защитой от автоматических запросовИндексация и техаудит · Погодин14ответов3 161 просм.
Логи сервера показывают одни цифры обхода, панель вебмастера совсем другие, ищем правдуИндексация и техаудит · Вадим Кучер5ответов3 675 просм.