Как показывать в отчёте данные, собранные с перебоями

Собираю сводку по многим проектам, и вот где узкое место.

Условия задачи вот такие.

Сборка занимает около трёх часов, из них половина уходит на пересчёт. Проверка на пустые ячейки делается руками, и это уже неприлично. История хранится за два года, объём растёт быстрее, чем ожидалось.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Хочется услышать цифры от практиков.

Начинал с того же, потом переделал.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Начните с малого объёма и растите постепенно.

Разбейте прогон на части, станет ровнее.

Подтверждаю, у нас было ровно то же самое.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Хороший разбор, добавлю в закладки.

Долго держал старую схему, пока не упёрся.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Проверял на трёх проектах подряд, картина устойчивая.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Тут ничего нового не скажу, только подтвержу.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Поправлю: дело не в объёме, а в темпе.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Проверьте, что настройка вообще применилась.

Логи в помощь, без них это гадание.