Сколько адресов нужно на еженедельный обход 50 проектов

Спрашиваю у тех, кто гоняет обходы регулярно.

Робот заходит неравномерно, это видно по логам. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Что тут вообще считается нормой?

Согласен целиком, добавлю только цифру.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Мы упирались в то же, пока не поменяли подход.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Долго держал старую схему, пока не упёрся.

Выпадение страниц пачкой почти всегда связано с одним изменением. Ищите, что менялось за неделю до этого.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Схема рабочая, но у неё есть предел.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.

На одном проекте это стоило нам сорванного срока.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Осторожнее с обобщением, случаи бывают разные.

Темп обхода согласуйте с владельцем сайта, если это не ваш сервер. Сорванный чужой сервер стоит дороже любых данных.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Мы решили это переносом прогона на другое время.

Параметры в адресах плодят бесконечные варианты. Закройте их правилом обхода на своей стороне, иначе краулер будет ходить кругами.