Собираю сводку по многим проектам, и вот где узкое место.
Пара цифр для понимания.
Сводка собирается по 200 проектам, каждую неделю. История хранится за два года, объём растёт быстрее, чем ожидалось.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Если у кого есть цифры, покажите.
Какая версия программы стоит?
Какой объём и за какое окно?
Всё верно написали выше, добавлю от себя пару деталей.
Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.
Считайте показатели один раз и храните результат. Пересчёт при каждом открытии отчёта съедает часы.
Добавлю тему в закладки.
Так делать можно, но есть путь короче.
Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaМы решили это переносом прогона на другое время.
Шаблон отчёта делайте под тип проекта. Под каждого клиента отдельный шаблон плодить незачем. Клиентов много, типов мало.
Жду продолжения.
Сохраняйте сырое, пересчитать успеете.
Проверьте, что настройка вообще применилась.
Могу подтвердить, у нас на двух проектах точно так.
Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaТак и есть, проходил через это в прошлом году.
В отчёте нужна не только динамика, но и объём выборки. Падение на трёх запросах и на трёх тысячах это разные новости.
Графики делайте скучными и одинаковыми. Красота в отчёте мешает читать цифры.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in TablicaНа всех площадках или на одной конкретной?
Сколько адресов и какой темп при этом стоит?
У меня картина совпадает почти полностью.
Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Уточнение по мелочи, но она стоит времени.
Данные, собранные с перебоями, помечайте прямо в отчёте. Молчание об этом всплывает в самый неподходящий момент.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Такие темы и держат форум.
У коллеги было то же самое, причина оказалась смешной.
Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Мы держали старую схему год, зря.
В отчёте нужна не только динамика, но и объём выборки. Падение на трёх запросах и на трёх тысячах это разные новости.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Будет результат, напишите сюда.
Был случай, когда всё сошлось только на третий день разбора.
Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.