Отчёт по техническим ошибкам сайта для разработчиков

Ниже как устроено сейчас, и вопрос, как лучше.

Условия задачи вот такие.

Сборка занимает около трёх часов, из них половина уходит на пересчёт. Сводка собирается по 200 проектам, каждую неделю. История хранится за два года, объём растёт быстрее, чем ожидалось.

Хочется услышать цифры от практиков.

Проверял это на своей задаче, вывод такой же.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Если поможет, напишите здесь же, пригодится следующим.

Разбейте прогон на части, станет ровнее.

Одно уточнение, иначе расчёт уедет.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Всё верно написали выше, добавлю от себя пару деталей.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Согласен с предыдущим ответом, но с одной оговоркой.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Тема нужная, подписался.

Согласен с предыдущим ответом, но с одной оговоркой.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Расскажу, чем закончилось у меня.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Всё верно написали выше, добавлю от себя пару деталей.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Если поможет, напишите здесь же, пригодится следующим.

Начинал с того же, потом переделал.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Расскажу, чем закончилось у меня.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

Если поможет, напишите здесь же, пригодится следующим.

Сколько адресов и какой темп при этом стоит?

Согласен с предыдущим ответом, но с одной оговоркой.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Смотрите подсети, а не только число адресов.