Пересчёт отчётов после того, как нашли ошибку в сборе

Отчёт готовится регулярно, и на этом шаге постоянно теряю время.

Начну с цифр, они тут важнее слов.

Проверка на пустые ячейки делается руками, и это уже неприлично. Сборка занимает около трёх часов, из них половина уходит на пересчёт.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Подскажите, где я ошибаюсь.

Добавлю то, что обычно вылезает на второй месяц работы.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через серверные прокси с целыми подсетями.

Считайте по темпу, всё остальное вторично.

Тут легко перепутать два разных момента.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Осторожнее с этим выводом, он верен не всегда.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Считайте по темпу, всё остальное вторично.

Уменьшите потоки вдвое и замерьте заново.

Тут ничего нового не скажу, только подтвержу.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Проверьте, что настройка вообще применилась.

Начните с малого объёма и растите постепенно.

Уменьшите потоки вдвое и замерьте заново.

Согласен с предыдущим ответом, но с одной оговоркой.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica