Скорость сбора против числа отказов: где точка равновесия

Ниже что вижу, и вопрос, что с этим делать.

Расскажу по порядку.

Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Доля отказов около трёх процентов, но растёт.

Есть ощущение, что упускаю мелочь.

Добавлю то, что обычно выясняется поздно.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Прогон падает всегда в одном месте?

На всех площадках или на одной конкретной?

Поправлю: дело в темпе, объём тут вторичен.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

Тот же вывод, только я шёл к нему дольше.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Слежу за темой.

У нас это вылезло на проекте с большим каталогом.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Обновите список адресов и повторите.

Добавлю то, что обычно вылезает на второй месяц работы.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

Ловил это дважды, оба раза по разным причинам.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Долго держал старую схему, пока не упёрся.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.

Слежу за темой.

Проверяли на маленькой выборке?

Проверяйте из той же программы. Браузер показывает своё.

Сколько потоков стоит на прогоне?

На другой машине воспроизводится?