Как показывать в отчёте данные, собранные с перебоями

Ниже как устроено сейчас, и вопрос, как лучше.

Что есть на руках.

Отчёт уходит заказчику каждый вторник. Собираю в таблице, но она уже не тянет. Данных за год около сорока миллионов строк.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Хочу понять устройство, а потом уже крутить настройки.

Ловил это дважды, оба раза по разным причинам.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Один замер стоит десяти рассуждений.

Держите запас, ровно по расчёту работать не выйдет.

Проверял это на своей задаче, вывод такой же.

Данные, собранные с перебоями, помечайте прямо в отчёте. Молчание об этом всплывает в самый неподходящий момент.

Тема как раз вовремя, сам этим занят.

Первый раз списал на случайность, второй раз уже нет.

Шаблон отчёта делайте под тип проекта. Под каждого клиента отдельный шаблон плодить незачем. Клиентов много, типов мало.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Проходил ровно этот путь года полтора назад.

Шаблон отчёта делайте под тип проекта. Под каждого клиента отдельный шаблон плодить незачем. Клиентов много, типов мало.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Всё правильно расписано, повторю своими словами.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Добавлю то, что обычно вылезает на второй месяц работы.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Проверьте, что ответ полный.

Сверяйте полноту после каждого прогона.