Обход сайта с защитой от автоматических запросов

Спрашиваю у тех, кто гоняет обходы регулярно.

Чтобы было понятно, с чем работаю.

Сайт на 180 тысяч страниц, обновляется ежедневно. После переезда на другой хостинг скорость обхода упала примерно вдвое. Робот заходит неравномерно, это видно по логам.

Как считаете вы? Интересует порядок действий.

Проверял это на своей задаче, вывод такой же.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Один момент упущен, и он важный.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

У нас на прошлом проекте это выглядело так.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Тема на будущее пригодится многим.

Начинал с того же, потом переделал.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Хороший разбор, добавлю в закладки.

Был случай, когда всё сошлось только на третий день разбора.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Добавьте адресов, потоки трогать не надо.

Тут легко перепутать два разных момента.

Канонические адреса проверяйте вместе с ответами сервера. Расхождение между ними даёт самые запутанные случаи.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Настройка применилась вообще?

Половина верна, вторую половину поправлю.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

Проверял это на своей задаче, вывод такой же.

Логи разбирайте по дням. Целиком их открывать незачем. Месячный файл на десяток гигабайт открывать целиком незачем.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Тут есть тонкость, о которой обычно забывают.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Опишу свой случай, вдруг совпадёт.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Есть возможность повторить прогон и сравнить?

Сохраняйте сырое, пересчитать успеете.