позиции · сбор данных · отчёты
реклама IPrazon Network: приватные прокси IPv4 и SOCKS5, около 12 000 адресов, безлимитный трафик, тест до 2 часов

Разделы · Лимиты, капчи и отказы

Отказы выросли после того, как добавили потоков

6 ответов · 2 247 просмотров
знак участника seo_kotel
seo_kotelЗнаток
  • сообщений 2 890
  • на форуме 2 мес
Лимиты, капчи и отказы

Пишу с логами, чтобы разговор был предметным.

По порядку.

В ответе приходит код 200, но вместо содержимого короткая заглушка. После получаса простоя адреса возвращаются в работу сами. Пробовал уменьшить потоки вдвое, отказов стало меньше, но время выросло втрое.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests

Кто сталкивался, поделитесь опытом.

варю данные с 2014
знак участника Ковтун
КовтунНовичок
  • сообщений 468
  • на форуме 11 мес
seo_kotel писал: Отказы выросли после того, как добавили пото…

Проверял это на своей задаче, вывод такой же.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Если поможет, напишите здесь же, пригодится следующим.

знак участника Ефремова Н.
Ефремова Н.Участник
  • сообщений 1 465
  • на форуме 5 мес

Разбейте прогон на части, станет ровнее.

знак участника csv_i_slezy
csv_i_slezyЗнаток
  • сообщений 2 180
  • на форуме 3 мес

Долго держал старую схему, пока не упёрся.

После отказа адрес выводите из работы минут на двадцать. Возвращать его сразу бесполезно, счётчик ещё не остыл.

Отпишитесь, чем закончится, тема полезная.

знак участника serpwatch
serpwatchЗнаток
  • сообщений 2 610
  • на форуме 2 мес

Согласен с предыдущим ответом, но с одной оговоркой.

Паузу ставьте с разбросом. Ровная пауза в две секунды заметнее, чем разброс от полутора до трёх, потому что ровный ритм это признак машины.

12:04:11 200 ok
12:04:12 200 ok
12:19:38 429 too many requests
12:19:39 429 too many requests
знак участника Емельян Ц.
Емельян Ц.Знаток
  • сообщений 2 130
  • на форуме 3 мес

Считайте по темпу, всё остальное вторично.

знак участника obhod_night
obhod_nightУчастник
  • сообщений 1 495
  • на форуме 5 мес

Так и есть, проходил через это в прошлом году.

Код 200 с короткой заглушкой это тоже отказ, просто вежливый. Заведите проверку на размер ответа, иначе прогон соберёт пустоту и вы этого не заметите.

Уменьшение потоков помогает не всегда: если темп на адрес прежний, отказы останутся. Добавляйте адреса, а не убавляйте потоки.

Если поможет, напишите здесь же, пригодится следующим.

Ответить в темеПодписаться

Рядом в разделе

Сеометр, форум специалистов по поиску и аналитике ПравилаУчастникиО форумеЛента 2026