Собираю сводку по многим проектам, и вот где узкое место.
Заказчик смотрит отчёт с телефона, поэтому вид важен не меньше цифр. Сборка занимает около трёх часов, из них половина уходит на пересчёт.
Может, есть более простой путь, которого я не вижу.
Подтверждаю, у нас было ровно то же самое.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Хороший разбор, добавлю в закладки.
Проверить это можно бесплатно: у прокси IPv4 под сбор данных есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.
До этого работало? Что менялось перед тем, как сломалось?
Держите запас, ровно по расчёту работать не выйдет.
У нас на прошлом проекте это выглядело так.
Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.
Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaРасскажу, чем закончилось у меня.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaДержите запас, ровно по расчёту работать не выйдет.
Подтверждаю, у нас было ровно то же самое.
Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.
Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaДолго держал старую схему, пока не упёрся.
Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.