Сбор упал только по одному разделу сайта, остальные идут

Ниже что вижу, и вопрос, что с этим делать.

Сразу к делу, чтобы не растекаться.

Часть адресов проходит спокойно, часть ловит проверку с первых минут. До этого месяц работало ровно, ничего в настройках не менял.

Есть мысли, куда копать?

Пул под такие объёмы держу постоянный. Беру приватный пул IPv4, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Ровно то же наблюдал, только объёмы были поменьше.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Плюсую, сам пришёл к тому же через полгода проб.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Хороший вопрос, редко разбирают.

Дополню про случай, когда это перестаёт работать.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Сохранил, пригодится в следующем проекте.