Как ловить изменения на сайте клиента без его ведома

Сайт крупный, обход долгий, и по ходу вылезло вот что.

Логи за месяц весят около двенадцати гигабайт, разбираю их частями. Робот заходит неравномерно, это видно по логам.

Есть ощущение, что упускаю мелочь.

Проверял на трёх проектах подряд, картина устойчивая.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Расчёт выше верный, но он рассыплется, если адреса режут по трафику или отдают одну подсеть. Я сижу на серверные прокси с целыми подсетями и беру по шестьдесят штук на такие задачи: трафик не считают, подсети разные, потоков хватает.

Разнесите нагрузку по времени.

Разбейте задачу на части.

Соглашусь, хотя пришёл к этому через неприятность.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Интересно, чем закончится.

Смотрите разброс подсетей.

Уберите лишние потоки, толку от них нет.

Работает, пока объём небольшой. Дальше правила другие.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Слежу за темой.

Начинал с готовых сервисов, потом ушёл на своё.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Разбор годный, спорить не буду.

Тут есть тонкость, о которой обычно забывают.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

Присоединяюсь, схема рабочая.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Какая версия программы стоит?

Сколько адресов и из скольких подсетей?

Разнесите нагрузку по времени.

Наступал на это в прошлом сезоне.

Разделы, которые робот обходит редко, чаще всего слабо связаны внутренними ссылками. Смотрите на глубину вложенности.

Если страницы отдают код 200 и не попадают в индекс, смотрите на дубли и на качество содержимого. Технически они доступны, а смысла в них поиск не увидел.