Разделы · Лимиты, капчи и отказы
Пишу с логами, чтобы разговор был предметным.
По порядку.
В ответе приходит код 200, но вместо содержимого короткая заглушка. После получаса простоя адреса возвращаются в работу сами. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Кто сталкивался, поделитесь опытом.
Проверял это на своей задаче, вывод такой же.
Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.
Если поможет, напишите здесь же, пригодится следующим.
Разбейте прогон на части, станет ровнее.
Долго держал старую схему, пока не упёрся.
После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.
Отпишитесь, чем закончится, тема полезная.
Согласен с предыдущим ответом, но с одной оговоркой.
Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Считайте по темпу, всё остальное вторично.
Так и есть, проходил через это в прошлом году.
Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.
Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.
Если поможет, напишите здесь же, пригодится следующим.