Логи сервера показывают одни цифры обхода, панель вебмастера совсем другие, ищем правду

Ниже цифры и вопрос по ним.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. После переезда на другой хостинг скорость обхода упала примерно вдвое.

Буду признателен за конкретику.

Был похожий случай, разбирали неделю.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Тема нужная, подписался.

Помню, как искал причину два дня подряд.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Один замер стоит десяти рассуждений.

Замечание по существу, иначе расчёт поедет.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Сначала делал так же, потом переделал всё.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Хороший разбор, добавлю в закладки.