Сборка отчёта занимает три часа, ищем узкое место

Ищу способ, который переживёт смену проекта и человека.

История хранится за два года, объём растёт быстрее, чем ожидалось. Сводка собирается по 200 проектам, каждую неделю. Сборка занимает около трёх часов, из них половина уходит на пересчёт.

Кто как это обходит?

Уточните пару моментов, иначе гадаем.

Поправлю: дело не в объёме, а в темпе.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Если поможет, напишите здесь же, пригодится следующим.

Добавлю то, что обычно вылезает на второй месяц работы.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Если поможет, напишите здесь же, пригодится следующим.

Разбейте прогон на части, станет ровнее.

Долго держал старую схему, пока не упёрся.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Тут ничего нового не скажу, только подтвержу.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Долго держал старую схему, пока не упёрся.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Считайте по темпу, всё остальное вторично.

Подтверждаю, у нас было ровно то же самое.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Тема нужная, подписался.

А что показывают логи в момент падения?

Какая версия программы и что с настройками по умолчанию?

Разбейте прогон на части, станет ровнее.