Ошибка 407 от посредника: авторизация настроена верно

Прогон стабильно падает в одном и том же месте.

Постараюсь коротко.

До этого месяц работало ровно, ничего в настройках не менял. После получаса простоя адреса возвращаются в работу сами. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

Готов сам проверить, скажите только что.

Пробовали снизить темп вдвое?

Мы решили это переносом прогона на другое время.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.

Расскажу, чем закончилось у меня.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Полгода жил с этим, пока не надоело.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Тут есть тонкость, о которой обычно забывают.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Начинал с готовых сервисов, потом ушёл на своё.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Отказы, привязанные ко времени суток, обычно означают общую нагрузку на площадку. Персональные ограничения ведут себя иначе.

Пишите, если понадобится уточнить.

Начните с малого объёма и растите постепенно.

Какие паузы между запросами?

Сколько адресов и из скольких подсетей?

Что менялось за последнюю неделю?

Проверяли на маленькой выборке?

Первый раз списал на случайность, второй раз уже нет.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Смотрите подсети, число адресов само по себе мало что даёт.

Было такое прошлой осенью, разбор занял вечер.

Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.

Отпишитесь, что получилось.

Начните с пробы на тысяче записей.

Дополню про случай, когда это перестаёт работать.

Резкий рост потоков площадка замечает быстрее, чем ровную нагрузку. Наращивайте постепенно.