Обход сайта конкурента: какой темп считается приличным

Спрашиваю, потому что второй проект подряд одно и то же.

Пара цифр для понимания.

Карта обновляется автоматически раз в сутки. Часть разделов робот обходит раз в две недели, часть каждый день.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Ткните носом, если очевидное пропустил.

Проверьте на второй машине, это отсекает половину версий.

Проверял на трёх проектах подряд, картина устойчивая.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Хороший разбор, добавлю в закладки.

Обновите список адресов и повторите.

Полгода жил с этим, пока не надоело.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Пусть висит, такие вопросы всплывают постоянно.

Расскажу, как выкручивались мы.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Уточните пару моментов, иначе гадаем.

У нас это вылезло на проекте с большим каталогом.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Держите запас, ровно по расчёту работать не выйдет.

Подтверждаю по своей практике.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Отпишитесь, что получилось.

Расскажу, как выкручивались мы.

Проверку по расписанию разносите: не запускайте всё в полночь, размажьте по суткам.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Такие темы и держат форум.

Ставьте таймаут, иначе висит вечно.