Дашборд по позициям на 200 проектов: чем строите

Ищу способ, который переживёт смену проекта и человека.

Сначала обстановка.

Отчёт уходит заказчику каждый вторник. Заказчик смотрит отчёт с телефона, поэтому вид важен не меньше цифр.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Интересно, как это решают у вас.

Замерьте и сравните, догадки тут не помогут.

Пул под такие объёмы держу постоянный. Беру серверные адреса IPv4, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Проверьте, что ответ полный.

Считаю так же, и цифры у меня близкие.

Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.

У нас на прошлом проекте это выглядело так.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Если найдёте причину, поделитесь.

Работает, пока не выросли объёмы.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Если найдёте причину, поделитесь.

Проверьте на второй машине, это отсекает половину версий.

Ровно то же наблюдал, только объёмы были поменьше.

Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Разбор годный, спорить не буду.

Так и работает, проверено не один раз.

В отчёте нужна не только динамика, но и объём выборки. Падение на трёх запросах и на трёх тысячах это разные новости.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Сколько это длится и с какой частотой повторяется?

Что в логах в этот момент?

Совпадает с моим опытом до цифры.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Отпишитесь, чем закончится, тема полезная.

Уточните пару моментов, иначе гадаем.

Сохраняйте сырое, пересчитать успеете.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Один замер стоит десяти рассуждений.

Не совсем так, и разница тут существенная.

Шаблон отчёта делайте под тип проекта. Под каждого клиента отдельный шаблон плодить незачем. Клиентов много, типов мало.

Тема на будущее пригодится многим.