Полный обход раз в неделю против выборочного каждый день

Задача техническая, но упирается в объём и темп.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Карта сайта разбита на файлы по пятьдесят тысяч адресов. Логи за месяц весят около двенадцати гигабайт, разбираю их частями.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Кто сталкивался, поделитесь опытом.

Смотрите подсети, а не только число адресов.

Логи в помощь, без них это гадание.

Тут легко перепутать два разных момента.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Пришёл к этому не сразу, сначала сделал ошибку.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Отпишитесь, чем закончится, тема полезная.

Полгода назад ловил то же самое.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Отпишитесь, чем закончится, тема полезная.

Разбейте прогон на части, станет ровнее.

Одно уточнение, иначе расчёт уедет.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Смотрите подсети, а не только число адресов.

Всё верно написали выше, добавлю от себя пару деталей.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Отпишитесь, чем закончится, тема полезная.

Расскажу, чем закончилось у меня.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи в помощь, без них это гадание.

Смотрите подсети, а не только число адресов.

Подтверждаю, у нас было ровно то же самое.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Уточните пару моментов, иначе гадаем.

Это на всех площадках или на одной?