Как ловить изменения на сайте клиента без его ведома

Сайт крупный, обход долгий, и по ходу вылезло вот что.

Каталог на 300 тысяч страниц, обход раз в неделю. После переезда на другой хостинг скорость обхода упала примерно вдвое.

Может, есть более простой путь, которого я не вижу.

У нас на прошлом проекте это выглядело так.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на серверные прокси с целыми подсетями и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Проверьте, что настройка вообще применилась.

Логи в помощь, без них это гадание.

Тут ничего нового не скажу, только подтвержу.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Если поможет, напишите здесь же, пригодится следующим.

Проверьте, что настройка вообще применилась.

Уменьшите потоки вдвое и замерьте заново.

Поправлю: дело не в объёме, а в темпе.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Держите нас в курсе.

Начинал с того же, потом переделал.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Хороший разбор, добавлю в закладки.

Тут есть тонкость, о которой обычно забывают.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Согласен с предыдущим ответом, но с одной оговоркой.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Какая версия программы и что с настройками по умолчанию?

На другой машине воспроизводится?

Проверьте, что настройка вообще применилась.

Полгода назад ловил то же самое.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.