Проверка индексации через выдачу против панели вебмастера

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Карта сайта разбита на файлы по пятьдесят тысяч адресов. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Сайт на 180 тысяч страниц, обновляется ежедневно.

Кто сталкивался, поделитесь опытом.

Что показывает простой запрос из консоли?

У нас похожая история была весной.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Интересно, чем закончится.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня серверные адреса IPv4, два терабайта в месяц уходят незаметно и в счёт не попадают.

Расскажу, чем закончилось у меня.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Помню, как искал причину два дня подряд.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Разбирались втроём, нашли случайно.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Меняйте по одному, иначе не поймёте причину.

Сколько адресов и какой темп при этом стоит?

Проверяли на маленькой выборке?