Выгрузка на 2 миллиона строк: чем открывать и чем считать

Пишу, потому что делаю это каждую неделю и хочу упростить.

Что имеем на входе.

Сборка занимает около трёх часов, из них половина уходит на пересчёт. Сводка собирается по 200 проектам, каждую неделю. Заказчик смотрит отчёт с телефона, поэтому вид важен не меньше цифр.

Как считаете вы? Интересует порядок действий.

Было такое прошлой осенью, разбор занял вечер.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

Добавьте адресов, потоки трогать не надо.

У меня картина совпадает почти полностью.

Графики делайте скучными и одинаковыми. Красота в отчёте мешает читать цифры.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Расскажу, как выкручивались мы.

Автоматическую рассылку сводки ставьте на утро понедельника. К этому времени данные за неделю уже полные.

Помню, как искал причину два дня подряд.

Считайте показатели один раз и храните результат. Пересчёт при каждом открытии отчёта съедает часы.

Так же считаю, и коллеги считают так же.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Добавлю то, что обычно выясняется поздно.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Хороший вопрос, редко разбирают.

На всех площадках или на одной конкретной?

Какой объём и за какое окно?

С выводом соглашусь, с обоснованием нет.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

Забрал себе в заметки.

Присоединяюсь, схема рабочая.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Держите нас в курсе.

Подтверждаю по своей практике.

Сравнение с конкурентами показывайте по одинаковой методике. Иначе разговор уходит в спор о цифрах.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Хороший разбор, добавлю в закладки.