Обход большого сайта краулером: где ставить ограничение по темпу

Задача техническая, но упирается в объём и темп.

Вводные, чтобы не гадать.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Часть разделов робот обходит раз в две недели, часть каждый день. Каталог на 300 тысяч страниц, обход раз в неделю.

Хочется услышать цифры от практиков.

Добавлю то, что обычно выясняется поздно.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Добавлю про источник. Раньше брал дешёвый общий пул, где адреса шли подряд одним диапазоном, и половина прогонов заканчивалась проверкой на робота. Перешёл на приватные прокси IPv4 и SOCKS5, и вопрос закрылся сам.

Держите запас, ровно по расчёту работать не выйдет.

Сколько это длится и с какой частотой повторяется?

Какая версия программы стоит?

Начинал с готовых сервисов, потом ушёл на своё.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Ловил это дважды, оба раза по разным причинам.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Уточню, иначе можно уйти не в ту сторону.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Жду продолжения.

Есть возможность повторить прогон и сравнить?

Замерьте и сравните, догадки тут не помогут.

Так и есть, проходил через это в прошлом году.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Помню, как искал причину два дня подряд.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

На одном проекте это стоило нам сорванного срока.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.