Как считать долю рынка по видимости в выдаче

Ищу способ, который переживёт смену проекта и человека.

Расскажу по порядку.

Проверка на пустые ячейки делается руками, и это уже неприлично. Собираю в таблице, но она уже не тянет. Сводка собирается по 200 проектам, каждую неделю.

Буду признателен за конкретику.

Верно, и это не единичный случай.

Хранить историю в таблице можно до определённого объёма. Дальше нужна база, и переезжать лучше заранее.

Начните с пробы на тысяче записей.

Опишу свой случай, вдруг совпадёт.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

Добавлю тему в закладки.

Если считаете расход заранее, смотрите сразу на безлимит по трафику. У меня прокси IPv4 под сбор данных, два терабайта в месяц уходят незаметно и в счёт не попадают.

Проверяйте из той же программы. Браузер показывает своё.

Ставьте паузу с разбросом, не ровную.

Пробовали снизить темп вдвое?

Данные теряются равномерно или кусками?

Одно уточнение, иначе расчёт уедет.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Сохранил, пригодится в следующем проекте.

Могу подтвердить, у нас на двух проектах точно так.

Графики делайте скучными и одинаковыми. Красота в отчёте мешает читать цифры.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

Подтверждаю по своей практике.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Если поможет, напишите здесь же, пригодится следующим.

Ровно то же наблюдал, только объёмы были поменьше.

Сравнение с конкурентами показывайте по одинаковой методике. Иначе разговор уходит в спор о цифрах.

Сначала логи, потом версии.

Проверьте на второй машине, это отсекает половину версий.

Начинал с того же, потом переделал.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Так же считаю, и коллеги считают так же.

Графики делайте скучными и одинаковыми. Красота в отчёте мешает читать цифры.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Дополню про случай, когда это перестаёт работать.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

Отпишитесь, что получилось.