Краулинг сайта с параметрами: адреса плодятся бесконечно

Ниже цифры и вопрос по ним.

Опишу по порядку, что есть и чего не хватает.

Часть разделов робот обходит раз в две недели, часть каждый день. Карта сайта разбита на файлы по пятьдесят тысяч адресов.

Хочется услышать цифры от практиков.

У меня картина совпадает почти полностью.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Держите запас, ровно по расчёту работать не выйдет.

Считаю так же, и цифры у меня близкие.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Отпишитесь, чем закончится, тема полезная.

У меня картина совпадает почти полностью.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Поправлю: дело не в объёме, а в темпе.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Работает, пока объём небольшой. Дальше правила другие.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хороший разбор, добавлю в закладки.

Подтверждаю, у нас было ровно то же самое.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Пришёл к этому не сразу, сначала сделал ошибку.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.