позиции · сбор данных · отчёты
реклама IPrazon Network: приватные прокси IPv4 и SOCKS5, около 12 000 адресов, безлимитный трафик, тест до 2 часов

Разделы · Отчёты и выгрузки

Выгрузка позиций с историей за два года: как ужать

4 ответов · 2 466 просмотров
знак участника grafik_cen
grafik_cenЗнаток
  • сообщений 1 720
  • на форуме 4 мес
Отчёты и выгрузки

Собираю сводку по многим проектам, и вот где узкое место.

Даю всё, что есть, вдруг зацепитесь за деталь.

История хранится за два года, объём растёт быстрее, чем ожидалось. Проверка на пустые ячейки делается руками, и это уже неприлично. Сборка занимает около трёх часов, из них половина уходит на пересчёт.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Кто как это обходит?

знак участника Стрельцов
СтрельцовУчастник
  • сообщений 1 080
  • на форуме 7 мес
полезный ответ
grafik_cen писал: Выгрузка позиций с историей за два года: как…

Согласен с предыдущим ответом, но с одной оговоркой.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

знак участника kolonka_cen
kolonka_cenЗнаток
  • сообщений 1 690
  • на форуме 4 мес

Тут есть тонкость, о которой обычно забывают.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта, а не повторного сбора.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
знак участника keymaker
keymakerВетеран
  • сообщений 3 210
  • на форуме 1 мес
grafik_cen писал: Выгрузка позиций с историей за два года: как…

Долго держал старую схему, пока не упёрся.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

знак участника Николай Гат
Николай ГатУчастник
  • сообщений 875
  • на форуме 9 мес

До этого работало? Что менялось перед тем, как сломалось?

Ответить в темеПодписаться

Рядом в разделе

Сеометр, форум специалистов по поиску и аналитике ПравилаУчастникиО форумеЛента 2026