позиции · сбор данных · отчёты
реклама IPrazon Network: приватные прокси IPv4 и SOCKS5, около 12 000 адресов, безлимитный трафик, тест до 2 часов

Разделы · Отчёты и выгрузки

Выгрузка в BI: через файл или через прямое подключение

14 ответов · 3 967 просмотров
знак участника Ким Р.
Ким Р.Новичок
  • сообщений 214
  • на форуме 1 года
Отчёты и выгрузкигорячая

Отчёт готовится регулярно, и на этом шаге постоянно теряю время.

Выгрузка выходит около двух миллионов строк, таблица её не держит. Сборка занимает около трёх часов, из них половина уходит на пересчёт. Сводка собирается по 200 проектам, каждую неделю.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Подскажите, где я ошибаюсь.

знак участника Ефим Гладков
Ефим ГладковУчастник
  • сообщений 850
  • на форуме 9 мес
Ким Р. писал: Выгрузка в BI: через файл или через прямое п…

Сколько адресов и какой темп при этом стоит?

Какая версия программы и что с настройками по умолчанию?

знак участника Мельник И.
Мельник И.Знаток
  • сообщений 1 655
  • на форуме 3 мес
Ким Р. писал: Выгрузка в BI: через файл или через прямое п…

Какая версия программы и что с настройками по умолчанию?

знак участника logi_i_grafiki
logi_i_grafikiУчастник
  • сообщений 895
  • на форуме 9 мес

Работает, пока объём небольшой. Дальше правила другие.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica

Тема нужная, подписался.

знак участника Шамиль Н.
Шамиль Н.Участник
  • сообщений 1 135
  • на форуме 6 мес

Смотрите подсети, а не только число адресов.

знак участника Погодин
ПогодинУчастник
  • сообщений 942
  • на форуме 6 мес
Ким Р. писал: Выгрузка в BI: через файл или через прямое п…

Так и есть, проходил через это в прошлом году.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Тема нужная, подписался.

знак участника proxyled
proxyledЗнаток
  • сообщений 1 620
  • на форуме 6 мес

Считаю так же, и цифры у меня близкие.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

знак участника Русакова Е.
Русакова Е.Новичок
  • сообщений 255
  • на форуме 1 года

Добавлю то, что обычно вылезает на второй месяц работы.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

знак участника polnyy_obhod
polnyy_obhodУчастник
  • сообщений 1 450
  • на форуме 5 мес

На другой машине воспроизводится?

знак участника vydacha_live
vydacha_liveЗнаток
  • сообщений 1 975
  • на форуме 4 мес

Это на всех площадках или на одной?

знак участника Ольга Мятлева
Ольга МятлеваУчастник
  • сообщений 700
  • на форуме 10 мес

Тут ничего нового не скажу, только подтвержу.

Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.

Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.

Тема нужная, подписался.

знак участника limit_watch
limit_watchЗнаток
  • сообщений 2 560
  • на форуме 2 мес
Ким Р. писал: Выгрузка в BI: через файл или через прямое п…

Проверял это на своей задаче, вывод такой же.

Динамику показывайте за период, который отражает работу: месяц для регулярных проектов, неделя для быстрых.

let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
    Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
знак участника setka_ip
setka_ipЗнаток
  • сообщений 2 755
  • на форуме 2 мес
Ким Р. писал: Выгрузка в BI: через файл или через прямое п…

Всё верно написали выше, добавлю от себя пару деталей.

Отчёт должен читаться без вас. Если для понимания нужен созвон, значит он не готов.

знак участника Стрельцов
СтрельцовУчастник
  • сообщений 1 080
  • на форуме 7 мес

Начните с малого объёма и растите постепенно.

знак участника kolonka_cen
kolonka_cenЗнаток
  • сообщений 1 690
  • на форуме 4 мес

Был случай, когда всё сошлось только на третий день разбора.

Проверку на пустые ячейки автоматизируйте в первую очередь. Это самая частая ошибка и самая заметная для заказчика.

Ответить в темеПодписаться

Рядом в разделе

Сеометр, форум специалистов по поиску и аналитике ПравилаУчастникиО форумеЛента 2026