Выгрузка позиций в таблицу: какой формат удобен клиенту

Собираю сводку по многим проектам, и вот где узкое место.

Обстановка простая, а ответа не нахожу.

Собираю в таблице, но она уже не тянет. Проверка на пустые ячейки делается руками, и это уже неприлично.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Интересно, как это решают у вас.

Сколько по времени занимает один запрос?

На другой машине воспроизводится?

Проверить это можно бесплатно: у прокси IPv4 под сбор данных есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Добавлю то, что обычно выясняется поздно.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Мы решили это переносом прогона на другое время.

Разделяйте отчёт для заказчика и рабочую таблицу для себя. Попытка совместить портит оба.

Пробовали на другой машине?

Тут не всё так однозначно, смотря какой объём.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Есть момент, который меняет всю картину.

Разделяйте отчёт для заказчика и рабочую таблицу для себя. Попытка совместить портит оба.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

До сих пор помню, чем это закончилось.

Считайте показатели один раз и храните результат. Пересчёт при каждом открытии отчёта съедает часы.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Отпишитесь, чем закончится, тема полезная.

Данные теряются равномерно или кусками?

Мы решили это переносом прогона на другое время.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Автоматическую рассылку сводки ставьте на утро понедельника. К этому времени данные за неделю уже полные.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Разбор годный, спорить не буду.

Смотрите подсети, число адресов само по себе мало что даёт.

Так и есть, проходил через это в прошлом году.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Проверял на трёх проектах подряд, картина устойчивая.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Пусть висит, такие вопросы всплывают постоянно.

Начните с малого объёма и растите постепенно.

Подтверждаю, у нас было ровно то же самое.

Разделяйте отчёт для заказчика и рабочую таблицу для себя. Попытка совместить портит оба.