Коды ответа при обходе: robots.txt закрыл лишнее

Веду технический аудит, упёрся в цифры.

Что есть на руках.

Каталог на 300 тысяч страниц, обход раз в неделю. Робот заходит неравномерно, это видно по логам. Сайт на 180 тысяч страниц, обновляется ежедневно.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Буду рад и короткому ответу.

Всё правильно расписано, повторю своими словами.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Один момент упущен, и он важный.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Если поможет, напишите здесь же, пригодится следующим.

Замерьте и сравните, догадки тут не помогут.

Какие паузы между запросами?

Какие паузы между запросами?

Считайте по темпу, всё остальное вторично.

Проверял на трёх проектах подряд, картина устойчивая.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Отпишитесь, чем закончится, тема полезная.

Пришёл к этому не сразу, сначала сделал ошибку.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Ставьте паузу с разбросом, не ровную.

Уточнение по мелочи, но она стоит времени.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Отпишитесь, что получилось.

Какая версия программы и что с настройками по умолчанию?

Какая версия программы и что с настройками по умолчанию?

Проверьте, что ответ полный.