Разделы · Индексация и техаудит
Проверка канонических адресов на большом каталоге
4 ответов · 4 042 просмотров
- сообщений 2 890
- на форуме 2 мес
Веду технический аудит, упёрся в цифры.
Начну с цифр, они тут важнее слов.
Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. Панель показывает одно число, обход даёт другое, расхождение около восьми процентов.
$ ./obhod --start https://example.org/ --rps 8 --out kody.csv 200 -> 284 110 301 -> 12 448 404 -> 1 902
Хочется услышать, чем это заканчивается на практике.
- сообщений 468
- на форуме 11 мес
Так и работает, проверено не один раз.
Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.
Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.
$ ./obhod --start https://example.org/ --rps 8 --out kody.csv 200 -> 284 110 301 -> 12 448 404 -> 1 902
- сообщений 1 465
- на форуме 5 мес
Сколько это длится и с какой частотой повторяется?
Сколько адресов и какой темп при этом стоит?
- сообщений 2 180
- на форуме 3 мес
На маленьких объёмах верно, на больших уже нет.
Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.
Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.
- сообщений 2 610
- на форуме 2 мес
Сколько это длится и с какой частотой повторяется?
Рядом в разделе
Обход большого сайта краулером: где ставить ограничение по темпуИндексация и техаудит · pool_manager11ответов3 512 просм.
Как отличить проблему индексации от проблемы сбора данныхИндексация и техаудит · rankdesk14ответов4 543 просм.- Битые ссылки на сайте в 500 тысяч страниц: чем искатьИндексация и техаудит · csv_i_slezy11ответов5 066 просм.