Заголовки запроса: что менять, а что трогать не стоит

Пишу с логами, чтобы разговор был предметным.

Отказ приходит стабильно, разброс между прогонами не больше десятка запросов. Часть адресов проходит спокойно, часть ловит проверку с первых минут. В ответе приходит код 200, но вместо содержимого короткая заглушка.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Готов сам проверить, скажите только что.

До сих пор помню, чем это закончилось.

Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.

До этого работало? Что менялось перед тем, как сломалось?

Проверял это на своей задаче, вывод такой же.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Отпишитесь, что получилось.

Скорость решает не всё, но и терять её не хочется. Я перешёл на серверные прокси с целыми подсетями, когда старый поставщик начал резать канал на длинных прогонах.

Пишите состояние построчно.

Пришёл к этому не сразу, сначала сделал ошибку.

Считайте долю отказов. Голое число ни о чём не говорит. Тысяча отказов на миллион запросов это норма, сто на тысячу уже беда.

До этого работало? Что менялось перед тем, как сломалось?

Ставьте таймаут, иначе висит вечно.

Плюсую, сам пришёл к тому же через полгода проб.

Ведите журнал отказов с временем. Через неделю в нём проступает расписание площадки.

Всё верно написали выше, добавлю от себя пару деталей.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса. Убавлять потоки бесполезно.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Считайте по темпу, всё остальное вторично.

Так и есть, проходил через это в прошлом году.

Вход в аккаунт на части страниц это разделение доступа. Защитой от сбора он не задумывался. Смиритесь и обходите стороной.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Ровно то же наблюдал, только объёмы были поменьше.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

Разнесите нагрузку по времени суток. Ночью площадки спокойнее не потому, что спят, а потому что общий поток меньше и ваш вклад в него не выделяется.