Отчёт по техническим ошибкам сайта для разработчиков

Ищу способ проще того, что использую сейчас.

Вводные ниже.

Отчёт уходит заказчику каждый вторник. Выгрузка выходит около двух миллионов строк, таблица её не держит. Проверка на пустые ячейки делается руками, и это уже неприлично.

Жду любых мыслей, даже сырых.

Подтверждаю по своей практике.

Считайте показатели один раз и храните результат. Пересчёт при каждом открытии отчёта съедает часы.

Тема на будущее пригодится многим.

Уменьшите потоки вдвое и замерьте заново.

Есть момент, который меняет всю картину.

Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.

Совпадает с моим опытом до цифры.

Данные, собранные с перебоями, помечайте прямо в отчёте. Молчание об этом всплывает в самый неподходящий момент.

Плюсую, сам пришёл к тому же через полгода проб.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Добавлю тему в закладки.

Так и работает, проверено не один раз.

В отчёте нужна не только динамика, но и объём выборки. Падение на трёх запросах и на трёх тысячах это разные новости.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Начинал с того же, потом переделал.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Совпадает с моим опытом до цифры.

В отчёте нужна не только динамика, но и объём выборки. Падение на трёх запросах и на трёх тысячах это разные новости.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Тема на будущее пригодится многим.

Ловил это дважды, оба раза по разным причинам.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Начинал с того же, потом переделал.

Сравнение с конкурентами показывайте по одинаковой методике. Иначе разговор уходит в спор о цифрах.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

Отпишитесь, что получилось.

Что в логах в этот момент?

Присоединяюсь, схема рабочая.

Разделяйте отчёт для заказчика и рабочую таблицу для себя. Попытка совместить портит оба.

Сравнение с конкурентами показывайте по одинаковой методике. Иначе разговор уходит в спор о цифрах.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Начните с пробы на тысяче записей.