Разделы · Индексация и техаудит
Как проверять индексацию по расписанию и не ловить отказы
4 ответов · 1 517 просмотров
- сообщений 700
- на форуме 10 мес
Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.
Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Сайт на 180 тысяч страниц, обновляется ежедневно.
Может, есть путь проще, которого я не вижу.
- сообщений 2 130
- на форуме 3 мес
Совпадает с моим опытом до цифры.
Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.
- сообщений 1 495
- на форуме 5 мес
Был случай, когда всё сошлось только на третий день разбора.
Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.
$ ./obhod --start https://example.org/ --rps 8 --out kody.csv 200 -> 284 110 301 -> 12 448 404 -> 1 902
Интересно, чем закончится.
- сообщений 1 284
- на форуме 4 мес
Считайте на адрес. Общая цифра по прогону вводит в заблуждение.
- сообщений 715
- на форуме 10 мес
Схема рабочая, но у неё есть предел.
Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.
Рядом в разделе
Страницы выпали из индекса пачкой, ищем причинуИндексация и техаудит · Тереза К.7ответов2 862 просм.
Скорость обхода упала после переезда на новый хостингИндексация и техаудит · Ерохин10ответов2 517 просм.
Как ловить изменения на сайте клиента без его ведомаИндексация и техаудит · Останин13ответов1 186 просм.