Карта сайта на 2 миллиона адресов: как разбивать

Работаю с каталогом на сотни тысяч страниц, вопрос по обходу.

Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес. После переезда на другой хостинг скорость обхода упала примерно вдвое.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Кто как это обходит?

Всё верно написали выше, добавлю от себя пару деталей.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Работает, пока объём небольшой. Дальше правила другие.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Тема нужная, подписался.

Начните с малого объёма и растите постепенно.

Проверить это можно бесплатно: у адреса с безлимитным трафиком есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Начните с малого объёма и растите постепенно.

Долго держал старую схему, пока не упёрся.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

До этого работало? Что менялось перед тем, как сломалось?

Считайте по темпу, всё остальное вторично.

Считайте по темпу, всё остальное вторично.

У меня картина совпадает почти полностью.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полгода назад ловил то же самое.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Полный обход раз в неделю плюс выборочный по важным разделам каждый день закрывает большинство задач и не грузит сервер.

Был случай, когда всё сошлось только на третий день разбора.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

До этого работало? Что менялось перед тем, как сломалось?

На другой машине воспроизводится?

Проверял это на своей задаче, вывод такой же.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Обход большого сайта надо ограничивать по темпу, а не по потокам. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Держите запас, ровно по расчёту работать не выйдет.