Собираю сводку по многим проектам, и вот где узкое место.
Опишу как есть.
Выгрузка выходит около двух миллионов строк, таблица её не держит. Сводка собирается по 200 проектам, каждую неделю.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Жду любых мыслей, даже сырых.
Почти так, но одна деталь меняет вывод.
Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.
Начните с малого объёма и растите постепенно.
Пул под такие объёмы держу постоянный. Беру адреса с безлимитным трафиком, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Один замер стоит десяти рассуждений.
Проверьте, что настройка вообще применилась.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.