Проверка ответов на полноту прямо в коде

Задача техническая, прошу совета по устройству.

Детали такие.

Список адресов читаю из файла и раздаю по кругу. На тысяче запросов всё ровно, на ста тысячах начинается расхождение.

async with aiohttp.ClientSession() as s:
    for i in range(3):
        try:
            r = await s.get(url, proxy=adres, timeout=30)
            break
        except Exception:
            await asyncio.sleep(2 ** i)

Если у кого есть цифры, покажите.

Какие паузы между запросами?

Начинал с того же, потом переделал.

Тестируйте сборщик на сохранённых страницах. Гонять живую площадку ради отладки расточительно.

Держите нас в курсе.

Наступал на это в прошлом сезоне.

Пул адресов выносите в отдельную часть кода. Тогда смена поставщика занимает минуту.

async with aiohttp.ClientSession() as s:
    for i in range(3):
        try:
            r = await s.get(url, proxy=adres, timeout=30)
            break
        except Exception:
            await asyncio.sleep(2 ** i)

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Уберите лишние потоки, толку от них нет.