Дубли страниц нашлись только после полного обхода

Задача техническая, но упирается в объём и темп.

Даю всё, что есть, вдруг зацепитесь за деталь.

Карта обновляется автоматически раз в сутки. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Робот заходит неравномерно, это видно по логам.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Есть у кого рабочая схема?

Помню, как искал причину два дня подряд.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Осторожнее с этим выводом, он верен не всегда.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Разбейте прогон на части, станет ровнее.

Проверьте на второй машине, это отсекает половину версий.

Верно по сути, дальше нюансы.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Сначала логи, потом версии.