Полный обход раз в неделю против выборочного каждый день

Задача техническая, но упирается в объём и темп.

Панель показывает одно число, обход даёт другое, расхождение около восьми процентов. Часть разделов робот обходит раз в две недели, часть каждый день. Проверка идёт с 30 адресов, темп примерно шесть запросов в минуту на адрес.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Может, кто-то уже проходил это.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Держите запас, впритык не работает.

Замечание по существу, иначе расчёт поедет.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

У меня это вскрылось только на сверке данных.

Битые ссылки ищите не только на страницах, но и в картах сайта. Там их обычно больше.

Отпишитесь, чем закончится, тема полезная.

У нас это вылезло на проекте с большим каталогом.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

$ ./obhod --start https://example.org/ --rps 8 --out kody.csv
200 -> 284 110
301 -> 12 448
404 -> 1 902

Если поможет, напишите здесь же, пригодится следующим.

Логи в помощь, без них это гадание.

Добавлю то, что обычно вылезает на второй месяц работы.

Карту сайта на два миллиона адресов делите на файлы по пятьдесят тысяч и собирайте в общий указатель. Так проще и роботу, и вам при разборе.

Скорость обхода после переезда падает у всех. Дайте серверу неделю, потом сравнивайте.

Добавьте адресов, потоки трогать не надо.

Совпадает с моим опытом до цифры.

Обход большого сайта ограничивайте по темпу. Ограничение по потокам тут почти бесполезно. Хороший ориентир: не больше десяти запросов в секунду ко всему сайту, если это не ваш сервер.

Держите нас в курсе.

Начинал с того же, потом переделал.

Логи сервера и панель вебмастера считают разное. Логи показывают все обращения, панель показывает то, что робот счёл достойным упоминания. Расхождение в пять или десять процентов это нормально.

Обход с параметрами ограничивайте правилом на своей стороне: список разрешённых параметров работает лучше списка запрещённых.

Держите запас, впритык не работает.

Держите запас, ровно по расчёту работать не выйдет.

У меня картина совпадает почти полностью.

Полный обход большого сайта имеет смысл раз в неделю. Ежедневный полный обход не даёт новых знаний, только нагрузку.

Сколько адресов и какой темп при этом стоит?

Прогон падает всегда в одном месте?