Проверка индексации 300 тысяч страниц: чем и с какой скоростью

Веду технический аудит, упёрся в цифры.

Начну с цифр, они тут важнее слов.

Каталог на 300 тысяч страниц, обход раз в неделю. Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Сайт на 180 тысяч страниц, обновляется ежедневно.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Буду признателен за конкретику.

Проверьте, что настройка вообще применилась.

Уберите лишние потоки, толку от них нет.

Написано верно, добавить почти нечего.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Будет результат, напишите сюда.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные адреса IPv4, когда старый поставщик начал резать канал на длинных прогонах.

Проверьте, что ответ полный.

Согласен с предыдущим ответом, но с одной оговоркой.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Начните с пробы на тысяче записей.

Это на всех площадках или на одной?

Был похожий случай, разбирали неделю.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Разбейте задачу на части.