Делаю это еженедельно и устал от ручной работы.
Сборка занимает около трёх часов, из них половина уходит на пересчёт. Собираю в таблице, но она уже не тянет.
let Istochnik = Web.Contents(adres, [Timeout=#duration(0,0,2,0)]),
Tablica = Csv.Document(Istochnik, [Delimiter=";"])
in Tablica
Подскажите, где я ошибаюсь.
Добавлю то, что обычно выясняется поздно.
Два миллиона строк таблице не по силам. Держите это в базе, а в таблицу отдавайте готовую сводку.
Тут легко перепутать два разных момента.
Сырые данные храните отдельно от посчитанных. Ошибка в расчёте тогда стоит пересчёта. Собирать заново не придётся.
Падение позиций показывайте вместе с причиной или хотя бы с гипотезой. Голая цифра вызывает панику и лишние разговоры.
Слежу за темой.
Ставьте таймаут, иначе висит вечно.
Тут легко перепутать два разных момента.
Сравнение с конкурентами показывайте по одинаковой методике. Иначе разговор уходит в спор о цифрах.
Считайте по темпу, всё остальное вторично.
Пробовали снизить темп вдвое?
Какие паузы между запросами?
Сколько адресов и из скольких подсетей?
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.