Массовая проверка индексации в Яндексе упирается в проверку на робота

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Карта сайта разбита на файлы по пятьдесят тысяч адресов. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Часть разделов робот обходит раз в две недели, часть каждый день.

Подскажите, где я ошибаюсь.

На другой машине воспроизводится?

Считаю так же, и цифры у меня близкие.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Держите нас в курсе.

Работает, пока объём небольшой. Дальше правила другие.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Добавлю то, что обычно вылезает на второй месяц работы.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Сколько адресов и какой темп при этом стоит?

Какая версия программы и что с настройками по умолчанию?