Выгрузка позиций в таблицу: какой формат удобен клиенту

Ищу способ, который переживёт смену проекта и человека.

Что имеем на входе.

Проверка на пустые ячейки делается руками, и это уже неприлично. История хранится за два года, объём растёт быстрее, чем ожидалось.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Кто сталкивался, поделитесь опытом.

До этого работало? Что менялось перед тем, как сломалось?

Уточните пару моментов, иначе гадаем.

Проверить это можно бесплатно: у прокси IPv4 под сбор данных есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Осторожнее с этим выводом, он верен не всегда.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Пришёл к этому не сразу, сначала сделал ошибку.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Сколько адресов и какой темп при этом стоит?

Одно уточнение, иначе расчёт уедет.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Одно уточнение, иначе расчёт уедет.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Долго держал старую схему, пока не упёрся.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Отпишитесь, чем закончится, тема полезная.

Это на всех площадках или на одной?

Пришёл к этому не сразу, сначала сделал ошибку.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Хороший разбор, добавлю в закладки.

Считайте по темпу, всё остальное вторично.

Подтверждаю, у нас было ровно то же самое.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

У нас на прошлом проекте это выглядело так.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Тема нужная, подписался.

Разбейте прогон на части, станет ровнее.

Считаю так же, и цифры у меня близкие.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.