позиции · сбор данных · отчёты
реклама IPrazon Network: приватные прокси IPv4 и SOCKS5, пул 12 000 адресов, безлимитный трафик, бесплатный тест до 2 часов

Разделы · Отчёты и выгрузки

Как хранить сырые данные, чтобы можно было пересчитать

8 ответов · 2 039 просмотров
знак участника Ковтун
КовтунНовичок
  • сообщений 468
  • на форуме 11 мес
Отчёты и выгрузки

Пишу, потому что делаю это каждую неделю и хочу упростить.

Отчёт уходит заказчику каждый вторник. Выгрузка выходит около двух миллионов строк, таблица её не держит.

Как хранить сырые данные, чтобы можно было пересчитать: разбор в цифрах
Как хранить сырые данные, чтобы можно было пересчитать: как это выглядит у меня

Может, есть путь проще, которого я не вижу.

знак участника Айгуль Р.
Айгуль Р.Новичок
  • сообщений 440
  • на форуме 1 года
Ковтун писал: Как хранить сырые данные, чтобы можно было п…

Уберите лишние потоки, толку от них нет.

знак участника Дарья Смолина
Дарья СмолинаУчастник
  • сообщений 820
  • на форуме 9 мес

Проверьте, что ответ полный.

знак участника Бабенко Д.
Бабенко Д.Новичок
  • сообщений 402
  • на форуме 1 года

Ловил это дважды, оба раза по разным причинам.

Проверку выгрузки автоматизируйте: число строк, пустые поля, диапазон значений. Три проверки ловят почти всё.

знак участника Ерохин
ЕрохинНовичок
  • сообщений 495
  • на форуме 1 года
полезный ответ

Скорость решает не всё, но и терять её не хочется. Я перешёл на адреса с безлимитным трафиком, когда старый поставщик начал резать канал на длинных прогонах.

Смотрите разброс подсетей.

знак участника Сергей Птицын
Сергей ПтицынУчастник
  • сообщений 1 165
  • на форуме 6 мес

Что менялось за последнюю неделю?

Настройка применилась вообще?

знак участника Жигарев
ЖигаревНовичок
  • сообщений 178
  • на форуме 1 года

На всех площадках или на одной конкретной?

знак участника Марат Илюхин
Марат ИлюхинЗнаток
  • сообщений 2 295
  • на форуме 3 мес

Верно, и это не единичный случай.

Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.

знак участника Женя Кольцов
Женя КольцовУчастник
  • сообщений 1 270
  • на форуме 8 мес

Дополню про случай, когда это перестаёт работать.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Пусть висит, такие вопросы всплывают постоянно.

Ответить в темеПодписаться

Рядом в разделе

Сеометр, форум специалистов по поиску и аналитике ПравилаУчастникиО форумеЛента 2026