robots.txt закрыл лишнее, обнаружили через полгода

Начал разбираться и нашёл больше вопросов, чем ответов.

Условия задачи вот такие.

Каталог на 300 тысяч страниц, обход раз в неделю. После переезда на другой хостинг скорость обхода упала примерно вдвое. Карта сайта разбита на файлы по пятьдесят тысяч адресов.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Буду признателен за конкретику.

Тут ничего нового не скажу, только подтвержу.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Добавлю то, что обычно вылезает на второй месяц работы.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Отпишитесь, чем закончится, тема полезная.

Смотрите подсети, а не только число адресов.

На другой машине воспроизводится?

На другой машине воспроизводится?

Считайте по темпу, всё остальное вторично.

У нас на прошлом проекте это выглядело так.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Отпишитесь, чем закончится, тема полезная.

Полгода назад ловил то же самое.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Уменьшите потоки вдвое и замерьте заново.

Тут легко перепутать два разных момента.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Если поможет, напишите здесь же, пригодится следующим.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Проверьте, что настройка вообще применилась.