Дубли страниц нашлись только после полного обхода

Задача техническая, но упирается в объём и темп.

Вводные, чтобы не гадать.

Часть разделов робот обходит раз в две недели, часть каждый день. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. После переезда на другой хостинг скорость обхода упала примерно вдвое.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Кто сталкивался, поделитесь опытом.

Проверял на трёх проектах подряд, картина устойчивая.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Поправлю: дело не в объёме, а в темпе.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Считайте по темпу, всё остальное вторично.

Держите запас, ровно по расчёту работать не выйдет.

Так и есть, проходил через это в прошлом году.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Уменьшите потоки вдвое и замерьте заново.