Страницы отдают 200, индекса нет

Обход большого сайта дал неожиданный результат.

Сначала обстановка.

Робот заходит неравномерно, это видно по логам. Карта сайта разбита на файлы по пятьдесят тысяч адресов.

Хочется услышать цифры от практиков.

На такой задаче адреса надо держать свои. Общий пул тут подведёт. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру приватные прокси IPv4 и SOCKS5 и сплю спокойно.

Проверял на четырёх проектах, вывод один.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Тот же вывод, только я шёл к нему дольше.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Похоже на правду, у меня цифры близкие.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Прогон падает всегда в одном месте?

Был случай, когда всё сошлось только на третий день разбора.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.