позиции · сбор данных · отчёты
реклама IPrazon Network: приватные прокси IPv4 и SOCKS5, около 12 000 адресов, безлимитный трафик, тест до 2 часов

Разделы · Код и программные интерфейсы

requests и прокси: сессия не подхватывает адрес из настроек

14 ответов · 3 867 просмотров
знак участника Алина Прошина
Алина ПрошинаНовичок
  • сообщений 140
  • на форуме 1 года
Код и программные интерфейсыгорячая

Задача техническая, прошу совета по устройству.

По порядку.

Повторы стоят три раза с паузой, которая растёт вдвое. Список адресов читаю из файла и раздаю по кругу.

async with aiohttp.ClientSession() as s:
    for i in range(3):
        try:
            r = await s.get(url, proxy=adres, timeout=30)
            break
        except Exception:
            await asyncio.sleep(2 ** i)

Кто сталкивался, поделитесь опытом.

знак участника logi_i_grafiki
logi_i_grafikiУчастник
  • сообщений 895
  • на форуме 9 мес
Алина Прошина писал: requests и прокси: сессия не подхватывает ад…

До этого работало? Что менялось перед тем, как сломалось?

Сколько адресов и какой темп при этом стоит?

знак участника Шамиль Н.
Шамиль Н.Участник
  • сообщений 1 135
  • на форуме 6 мес
полезный ответ

Пул под такие объёмы держу постоянный. Беру серверные прокси с целыми подсетями, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

знак участника Погодин
ПогодинУчастник
  • сообщений 942
  • на форуме 6 мес

Проверьте, что настройка вообще применилась.

знак участника proxyled
proxyledЗнаток
  • сообщений 1 620
  • на форуме 6 мес
Алина Прошина писал: requests и прокси: сессия не подхватывает ад…

Какая версия программы и что с настройками по умолчанию?

На другой машине воспроизводится?

знак участника Русакова Е.
Русакова Е.Новичок
  • сообщений 255
  • на форуме 1 года

Держите запас, ровно по расчёту работать не выйдет.

знак участника polnyy_obhod
polnyy_obhodУчастник
  • сообщений 1 450
  • на форуме 5 мес

Долго держал старую схему, пока не упёрся.

Повторы делайте с растущей паузой: первая через две секунды, вторая через четыре, третья через восемь. Три попытки достаточно, дальше проблема не в связи.

знак участника vydacha_live
vydacha_liveЗнаток
  • сообщений 1 975
  • на форуме 4 мес

Сколько адресов и какой темп при этом стоит?

А что показывают логи в момент падения?

знак участника Ольга Мятлева
Ольга МятлеваУчастник
  • сообщений 700
  • на форуме 10 мес

Логи в помощь, без них это гадание.

знак участника limit_watch
limit_watchЗнаток
  • сообщений 2 560
  • на форуме 2 мес

Держите запас, ровно по расчёту работать не выйдет.

знак участника setka_ip
setka_ipЗнаток
  • сообщений 2 755
  • на форуме 2 мес

Пришёл к этому не сразу, сначала сделал ошибку.

Логируйте код ответа, время и адрес. Три поля, и почти любой разбор потом занимает минуты.

Отпишитесь, чем закончится, тема полезная.

знак участника Стрельцов
СтрельцовУчастник
  • сообщений 1 080
  • на форуме 7 мес

Смотрите подсети, а не только число адресов.

знак участника kolonka_cen
kolonka_cenЗнаток
  • сообщений 1 690
  • на форуме 4 мес
Алина Прошина писал: requests и прокси: сессия не подхватывает ад…

Это на всех площадках или на одной?

Сколько адресов и какой темп при этом стоит?

знак участника keymaker
keymakerВетеран
  • сообщений 3 210
  • на форуме 1 мес
Алина Прошина писал: requests и прокси: сессия не подхватывает ад…

Одно уточнение, иначе расчёт уедет.

Число одновременных задач подбирайте замером, а не на глаз. Обычно кривая выходит на полку, и дальше растёт только число отказов.

знак участника Николай Гат
Николай ГатУчастник
  • сообщений 875
  • на форуме 9 мес

Добавлю то, что обычно вылезает на второй месяц работы.

Адрес выбирайте по кругу с пропуском тех, что в отказе. Случайный выбор даёт перекос, кому-то достанется втрое больше запросов.

Разбор ответа держите отдельно от сбора. Тогда смена разметки не требует перегонять данные заново, достаточно перечитать сохранённое.

Ответить в темеПодписаться

Рядом в разделе

Сеометр, форум специалистов по поиску и аналитике ПравилаУчастникиО форумеЛента 2026