Как логировать отказы, чтобы потом было что разбирать

Отказы пошли внезапно, до этого месяц всё было ровно.

Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. До этого месяц работало ровно, ничего в настройках не менял. После получаса простоя адреса возвращаются в работу сами.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Как считаете вы? Интересует порядок действий.

Что менялось за последнюю неделю?

Сколько это длится и с какой частотой повторяется?

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные серверные прокси.

Это следствие, а причина лежит глубже.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Подтверждаю по своей практике.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Пусть висит, такие вопросы всплывают постоянно.

Написано верно, добавить почти нечего.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Мы упирались в то же, пока не поменяли подход.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Половина верна, вторую половину поправлю.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Проверял ровно это, картина совпала.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Будет результат, напишите сюда.

Уточните пару моментов, иначе гадаем.

Сколько адресов и какой темп при этом стоит?

Пишите состояние построчно.

Сколько потоков стоит на прогоне?

Проверял это на своей задаче, вывод такой же.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.