Капча на выдаче появляется через 15 минут прогона

Цифры воспроизводятся, значит это не случайность.

Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту. Доля отказов около трёх процентов, но растёт.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Если у кого есть цифры, покажите.

Ставьте таймаут, иначе висит вечно.

Ответ приходит пустой или с содержимым?

Данные теряются равномерно или кусками?

По адресам: берите там, где отдают целые подсети и не считают трафик. Я работаю через приватный пул IPv4, на прогонах по сто тысяч страниц ни разу не упирался в лимит по трафику.

Плюсую, сам пришёл к тому же через полгода проб.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

Один момент упущен, и он важный.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Интересно, чем закончится.

Помню, как искал причину два дня подряд.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

У нас на прошлом проекте это выглядело так.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Такие темы и держат форум.

Прочитал и узнал свой прошлый год.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Порог нащупывайте на одном адресе. Весь пул под это подставлять незачем. Так вы потеряете один адрес вместо всех.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Пробовали на другой машине?

Проверяли на маленькой выборке?

Мы держали старую схему год, зря.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Забрал себе в заметки.

Работает, пока объём небольшой. Дальше правила другие.

Отказы волнами обычно означают, что счётчик сбрасывается по расписанию. Замерьте промежуток между волнами и подгоните темп.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Если поможет, напишите здесь же, пригодится следующим.

Половина верна, вторую половину поправлю.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Написано верно, добавить почти нечего.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.