Выгрузка позиций с историей за два года: как ужать
4 ответов · 2 466 просмотров
- сообщений 1 720
- на форуме 4 мес
Ниже как устроено сейчас, и вопрос, как лучше.
Чтобы было понятно, с чем работаю.
Сборка занимает около трёх часов, из них половина уходит на пересчёт. Данных за год около сорока миллионов строк. Собираю в таблице, но она уже не тянет.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Если у кого есть цифры, покажите.
- сообщений 1 080
- на форуме 7 мес
Присоединяюсь, схема рабочая.
Графики делайте скучными и одинаковыми. Красота в отчёте мешает читать цифры.
Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.
- сообщений 1 690
- на форуме 4 мес
Тут есть тонкость, о которой обычно забывают.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
- сообщений 3 210
- на форуме 1 мес
Было такое прошлой осенью, разбор занял вечер.
Считайте показатели один раз и храните результат. Пересчёт при каждом открытии отчёта съедает часы.
Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.
- сообщений 875
- на форуме 9 мес
Сколько по времени занимает один запрос?
Рядом в разделе
Как считать долю рынка по видимости в выдачеОтчёты и выгрузки · Пётр Улесов15ответов4 817 просм.
Дашборд по позициям на 200 проектов: чем строитеОтчёты и выгрузки · Мельник И.15ответов3 133 просм.- Excel против базы данных для хранения истории замеровОтчёты и выгрузки · Стрельцов4ответов2 082 просм.