Капча на выдаче появляется через 15 минут прогона

Разбираю поведение площадки и хочу сверить наблюдения.

В ответе приходит код 200, но вместо содержимого короткая заглушка. До этого месяц работало ровно, ничего в настройках не менял. После получаса простоя адреса возвращаются в работу сами.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Кто как это обходит?

Начните с малого объёма и растите постепенно.

На другой машине воспроизводится?

Это на всех площадках или на одной?

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватный пул IPv4, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Согласен с предыдущим ответом, но с одной оговоркой.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Добавлю то, что обычно вылезает на второй месяц работы.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Если поможет, напишите здесь же, пригодится следующим.

Проверял на трёх проектах подряд, картина устойчивая.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

У нас на прошлом проекте это выглядело так.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Хороший разбор, добавлю в закладки.

Так и есть, проходил через это в прошлом году.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Сколько адресов и какой темп при этом стоит?

Какая версия программы и что с настройками по умолчанию?

Начинал с того же, потом переделал.

Ровный порог отказов означает счётчик на стороне площадки. Считайте не потоки, а запросы с адреса за минуту, и подгоняйте темп под этот счётчик.

Держите нас в курсе.

Поправлю: дело не в объёме, а в темпе.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Отпишитесь, чем закончится, тема полезная.

Работает, пока объём небольшой. Дальше правила другие.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Всё верно написали выше, добавлю от себя пару деталей.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.