Разделы · Лимиты, капчи и отказы
Пауза между запросами: фиксированная или с разбросом
6 ответов · 2 820 просмотров
- сообщений 2 044
- на форуме 7 мес
Разбираю поведение площадки и хочу сверить наблюдения.
После получаса простоя адреса возвращаются в работу сами. Паузы стоят от полутора до трёх секунд, темп примерно двадцать запросов в минуту.
Кто держит похожие объёмы, отзовитесь.
- сообщений 1 620
- на форуме 6 мес
Пробовали снизить темп вдвое?
- сообщений 255
- на форуме 1 года
Расскажу, чем закончилось у меня.
Если отказ приходит на одних адресах и не приходит на других, дело в подсети. Темп тут ни при чём.
Ровный порог отказов означает счётчик на стороне площадки. Считайте запросы с адреса за минуту и подгоняйте темп под этот счётчик. Потоки тут ни при чём.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
- сообщений 1 450
- на форуме 5 мес
Почти так, но одна деталь меняет вывод.
Пустой ответ и отказ по коду это разные вещи, и обрабатывать их надо по-разному.
- сообщений 1 975
- на форуме 4 мес
Осторожнее с этим выводом, он верен не всегда.
Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.
- сообщений 700
- на форуме 10 мес
Держите запас, ровно по расчёту работать не выйдет.
- сообщений 2 560
- на форуме 2 мес
Было такое прошлой осенью, разбор занял вечер.
Возврат адреса в работу делайте по времени. Число попыток тут значения не имеет. Счётчик на той стороне живёт по часам.
12:04:11 200 ok 12:04:12 200 ok 12:19:38 429 too many requests 12:19:39 429 too many requests
Рядом в разделе
Капча на выдаче появляется через 15 минут прогонаЛимиты, капчи и отказы · pool_manager13ответов4 922 просм.
Сколько ждать после 429, чтобы адрес вернулся в работуЛимиты, капчи и отказы · Наиля Ш.12ответов2 197 просм.
Как автоматически выводить адрес из работы после отказаЛимиты, капчи и отказы · csv_i_slezy12ответов3 805 просм.