Дашборд по позициям на 200 проектов: чем строите

Заказчик просит одно, инструменты дают другое.

Сначала обстановка, вопрос в конце.

Сборка занимает около трёх часов, из них половина уходит на пересчёт. Выгрузка выходит около двух миллионов строк, таблица её не держит.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Кто сталкивался, поделитесь опытом.

Смотрите подсети, а не только число адресов.

Пул под такие объёмы держу постоянный. Беру серверные адреса IPv4, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Проверьте, что настройка вообще применилась.

Считаю так же, и цифры у меня близкие.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

У нас на прошлом проекте это выглядело так.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Тема нужная, подписался.

Работает, пока объём небольшой. Дальше правила другие.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Тема нужная, подписался.

Держите запас, ровно по расчёту работать не выйдет.

Всё верно написали выше, добавлю от себя пару деталей.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Хороший разбор, добавлю в закладки.

Согласен с предыдущим ответом, но с одной оговоркой.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Это на всех площадках или на одной?

Сколько адресов и какой темп при этом стоит?

Всё верно написали выше, добавлю от себя пару деталей.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Отпишитесь, чем закончится, тема полезная.

Уточните пару моментов, иначе гадаем.

Начните с малого объёма и растите постепенно.

Смотрите подсети, а не только число адресов.

Начните с малого объёма и растите постепенно.

Почти так, но одна деталь меняет вывод.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Если поможет, напишите здесь же, пригодится следующим.