Как хранить состояние прогона, чтобы продолжить с обрыва

Пишу свой сборщик, и на этом месте встал.

Даю всё, что есть, вдруг зацепитесь за деталь.

На тысяче запросов всё ровно, на ста тысячах начинается расхождение. Состояние прогона храню в файле, чтобы продолжать после обрыва.

async with aiohttp.ClientSession() as s:
    for i in range(3):
        try:
            r = await s.get(url, proxy=adres, timeout=30)
            break
        except Exception:
            await asyncio.sleep(2 ** i)

Есть мысли, куда копать?

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня серверные адреса IPv4, два терабайта в месяц уходят незаметно и в счёт не попадают.

Проверьте, что настройка вообще применилась.

Уточнение по мелочи, но она стоит времени.

Планировщик системы проще своей очереди, пока задач мало. После полусотни задач своя очередь окупается.

Число одновременных задач подбирайте замером. На глаз тут промахиваются всегда. Обычно кривая выходит на полку, и дальше растёт только число отказов.

Пусть висит, такие вопросы всплывают постоянно.

Сохраняйте сырое, пересчитать успеете.

Не гоните с первого дня, дайте себе запас.

На маленьких объёмах верно, на больших уже нет.

Планировщик системы проще своей очереди, пока задач мало. После полусотни задач своя очередь окупается.