Как логировать отказы, чтобы потом было что разбирать

Прогон стабильно падает в одном и том же месте.

В ответе приходит код 200, но вместо содержимого короткая заглушка. Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Часть адресов проходит спокойно, часть ловит проверку с первых минут.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Как считаете вы? Интересует порядок, а не общие слова.

До этого работало? Что менялось перед тем, как сломалось?

Это на всех площадках или на одной?

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные серверные прокси.

Тут легко перепутать два разных момента.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Проверял это на своей задаче, вывод такой же.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Тема нужная, подписался.

Всё верно написали выше, добавлю от себя пару деталей.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Был случай, когда всё сошлось только на третий день разбора.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Работает, пока объём небольшой. Дальше правила другие.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Проверял это на своей задаче, вывод такой же.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Если поможет, напишите здесь же, пригодится следующим.

Уточните пару моментов, иначе гадаем.

Уточните пару моментов, иначе гадаем.

Уменьшите потоки вдвое и замерьте заново.

Сколько адресов и какой темп при этом стоит?

Подтверждаю, у нас было ровно то же самое.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.