Краулер не видит часть разделов, ссылки есть

Задача техническая, но упирается в объём и темп.

Опишу по порядку, что есть и чего не хватает.

Часть разделов робот обходит раз в две недели, часть каждый день. Каталог на 300 тысяч страниц, обход раз в неделю. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес.

Кто как это обходит?

Почти так, но одна деталь меняет вывод.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные адреса IPv4 как раз поэтому.

Проверьте, что настройка вообще применилась.

Так и есть, проходил через это в прошлом году.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Держите нас в курсе.

Почти так, но одна деталь меняет вывод.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Тема нужная, подписался.

Согласен с предыдущим ответом, но с одной оговоркой.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Держите запас, ровно по расчёту работать не выйдет.

Это на всех площадках или на одной?

А что показывают логи в момент падения?

Пришёл к этому не сразу, сначала сделал ошибку.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Держите нас в курсе.

Расскажу, чем закончилось у меня.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Пришёл к этому не сразу, сначала сделал ошибку.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.