Power BI — сохранение и постепенное добавление данных после обновления

Существует веб-приложение, которое создает отчеты журнала в Azure Application Insights. Я хочу создать панель мониторинга Power BI, которая использует эти данные для создания визуализаций. Но данные должны быть сохранены в Power BI, иначе мне придется запрашивать ПОЛНЫЕ данные каждый раз, когда я нажимаю «обновить», что и происходит прямо сейчас. Это слишком неэффективно. Я хочу получить данные за последние пару дней и сохранить/сохранить эти данные, а также постепенно добавлять новые данные поверх них каждый раз, когда я нажимаю кнопку «Обновить».

Я попытался внедрить добавочное обновление Power BI, но, по-видимому, это неприменимо к этому источнику данных.

Есть ли способ заставить работать добавочное обновление или есть какая-то другая альтернатива для этого?

Я надеюсь, что кто-то может помочь мне с этим. Спасибо.

Запрос, созданный с помощью Azure Application Insights для Power BI, выглядит следующим образом: /*

The exported Power Query Formula Language (M Language ) can be used with Power Query in Excel
and Power BI Desktop.
For Power BI Desktop follow the instructions below: 
1) Download Power BI Desktop from https://powerbi.microsoft.com/desktop/
2) In Power BI Desktop select: 'Get Data' -> 'Blank Query'->'Advanced Query Editor'
3) Paste the M Language script into the Advanced Query Editor and select 'Done'
*/


let AnalyticsQuery =
let Source = Json.Document(Web.Contents("https://api.applicationinsights.io/v1/apps/15a450/query", 
[Query=[#"query" = "traces 
",#"x-ms-app" = "AAPBI",#"timespan" = "PT12H",#"prefer" = "ai.response-thinning=true"],Timeout=#duration(0,0,4,0)])),
TypeMap = #table(
{ "AnalyticsTypes", "Type" }, 
{ 
{ "string",   Text.Type },
{ "int",      Int32.Type },
{ "long",     Int64.Type },
{ "real",     Double.Type },
{ "timespan", Duration.Type },
{ "datetime", DateTimeZone.Type },
{ "bool",     Logical.Type },
{ "guid",     Text.Type },
{ "dynamic",  Text.Type }
}),
DataTable = Source[tables]{0},
Columns = Table.FromRecords(DataTable[columns]),
ColumnsWithType = Table.Join(Columns, {"type"}, TypeMap , {"AnalyticsTypes"}),
Rows = Table.FromRows(DataTable[rows], Columns[name]), 
Table = Table.TransformColumnTypes(Rows, Table.ToList(ColumnsWithType, (c) => { c{0}, c{3}}))
in
Table
in AnalyticsQuery

Инкрементное обновление — самое простое решение. Он не требует ничего особенного от источника данных; вам просто нужно интегрировать параметры RangeStart/RangeEnd в Power Query.

David Browne - Microsoft 21.11.2022 16:35

Спасибо. Я сделал все это. Но «Просмотр собственного запроса» выделен серым цветом. И, согласно Microsoft, «на панели «Параметры запроса», когда вы щелкаете правой кнопкой мыши последний примененный шаг, если параметр «Просмотр собственного запроса» включен (не выделен серым цветом), тогда весь запрос может быть свернут». Это означает, что запрос не является складным, но он должен быть складным, иначе добавочное обновление не сработает.

muyat 21.11.2022 16:39

Кстати, я создал «Пустой запрос» для получения данных из Azure Application Insights (который работает).

muyat 21.11.2022 16:40

Инкрементное обновление (несмотря на некоторые запутанные формулировки в документации) не зависит от свертки запроса. Параметры RangeStart/RangeEnd уже введены в ваш запрос. Если ваш запрос нельзя свернуть и вы хотите использовать функцию «Обнаружение изменений данных», вам необходимо предоставить настраиваемый запрос обнаружения изменений. Согласно blog.crossjoin.co.uk/2022/07/31/…

David Browne - Microsoft 21.11.2022 16:42

Так что я могу игнорировать тот факт, что «Просмотр собственного запроса» неактивен?

muyat 21.11.2022 16:44

Кроме того, запрос, который я создал; Я экспортировал это через Azure AI, написав запрос в Azure AI, запустив его и нажав кнопку экспорта. Это запрос, который я использую в Power BI Blank Query. Экспорт/запрос содержит «промежуток времени» = «P2D». Разве это не мешает RangeStart/RangeEnd? Представьте, что временной интервал равен 2 дням, а RangeEnd, например, равен 10 дням.

muyat 21.11.2022 16:48

Однозначно будет мешать. Вы должны переписать запрос, чтобы использовать параметры RangeStart и RangeEnd для TIMESTAMP. ЭГ | where TIMESTAMP >= datetime(2022-11-03 00:00:00)

David Browne - Microsoft 21.11.2022 16:50

Собственно, временной интервал используется для этого? ",#"x-ms-app" = "AAPBI",#"timespan" = "P2D",#"prefer" = "ai.respon‌​se-thinning=true"],T‌​imeout=#duration(0 ,0‌​,4,0)])), TypeMap = #table( { "AnalyticsTypes", "Type" }, { { "string", Text.Type }, { "int", Int32.Type }, { " long", Int64.Type }, { "real", Double.Type }, { "timespan", Duration.Type }, { "datetime", DateTimeZone.Type }, { "bool", Logical.Type }, { " guid", Text.Type }, { "dynamic", Text.Type } }), DataTable = Source[tables]{0}, Columns = Table.FromRecords(DataTable[columns]),........ ......

muyat 21.11.2022 16:57

Это (только часть запроса) создается, когда я экспортировал свой собственный запрос для использования в Power BI. (сделал это через Azure Application Insights, в меню указано "экспорт для power bi").

muyat 21.11.2022 16:58

Пожалуйста, добавьте весь PQ к вашему вопросу. Изменение необходимо внести в KQL.

David Browne - Microsoft 21.11.2022 17:04

Я просто добавил запрос в целом! Это запрос в его простейшей форме (по сути, я дважды щелкнул таблицу трассировок в Azure AI и выбрал фильтрацию за последние 12 часов, затем я щелкнул «Выполнить» и экспортировал запрос для использования в Power BI). Так что настоящего KQL нет... Я НЕ делал что-то вроде "трассировки, где сообщение == "test123", это просто "трассировка" и ничего более.

muyat 21.11.2022 17:16
[JS за 1 час] - 9. Асинхронный
[JS за 1 час] - 9. Асинхронный
JavaScript является однопоточным, то есть он может обрабатывать только одну задачу за раз. Для обработки длительных задач, таких как сетевые запросы,...
Топ-10 компаний-разработчиков PHP
Топ-10 компаний-разработчиков PHP
Если вы ищете надежных разработчиков PHP рядом с вами, вот список лучших компаний по разработке PHP.
Скраппинг поиска Apple App Store с помощью Python
Скраппинг поиска Apple App Store с помощью Python
📌Примечание: В этой статье я покажу вам, как скрапировать поиск Apple App Store и получить точно такой же результат, как на Apple iMac, потому что...
Редкие достижения на Github ✨
Редкие достижения на Github ✨
Редкая коллекция доступна в профиле на GitHub ✨
Подъем в javascript
Подъем в javascript
Hoisting - это поведение в JavaScript, при котором переменные и объявления функций автоматически "перемещаются" в верхнюю часть соответствующих...
Улучшение генерации файлов Angular
Улучшение генерации файлов Angular
Angular - это фреймворк. Вы можете создать практически любое приложение без использования сторонних библиотек.
0
11
103
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Начните с запроса KQL, в котором используется диапазон дат, например

traces 
| where timestamp >=  datetime(2022-11-20 00:00:00) 
| where timestamp < datetime(2022-11-22 00:00:00)

Затем после экспорта в Power Query интегрируйте параметры RangeStart и RangeEnd, как показано ниже.

:

let AnalyticsQuery =
let 
    strRangeStart = DateTime.ToText(RangeStart,[Format = "yyyy-MM-dd'T'HH:mm:ss'Z'", Culture = "en-US"]),
    strRangeEnd = DateTime.ToText(RangeEnd,[Format = "yyyy-MM-dd'T'HH:mm:ss'Z'", Culture = "en-US"]),
    Source = Json.Document(Web.Contents("https://api.applicationinsights.io/v1/apps/60845e27-7ed2-42ef-8ade-25a2fe8236ef/query", 
    [Query=[#"query" = "traces 
    | where timestamp >= datetime(" & strRangeStart &") 
    | where timestamp < datetime("& strRangeEnd &")
    ",#"x-ms-app" = "AAPBI",#"prefer" = "ai.response-thinning=true"],Timeout=#duration(0,0,4,0)])),
    TypeMap = #table(
    { "AnalyticsTypes", "Type" }, 
    { 
    { "string",   Text.Type },
    { "int",      Int32.Type },
    { "long",     Int64.Type },
    { "real",     Double.Type },
    { "timespan", Duration.Type },
    { "datetime", DateTimeZone.Type },
    { "bool",     Logical.Type },
    { "guid",     Text.Type },
    { "dynamic",  Text.Type }
    }),
    DataTable = Source[tables]{0},
    Columns = Table.FromRecords(DataTable[columns]),
    ColumnsWithType = Table.Join(Columns, {"type"}, TypeMap , {"AnalyticsTypes"}),
    Rows = Table.FromRows(DataTable[rows], Columns[name]), 
    Table = Table.TransformColumnTypes(Rows, Table.ToList(ColumnsWithType, (c) => { c{0}, c{3}}))
in
Table
in AnalyticsQuery

Большое спасибо за вашу помощь! Я попробую это завтра, и дам вам знать! :)

muyat 21.11.2022 17:44

Для чего используются RangeStart и RangeEnd? Является ли начало для «ЗАГРУЗИТЬ один раз» и конец для «поэтапного добавления этой части данных»?

muyat 22.11.2022 11:15

Задокументировано здесь: learn.microsoft.com/en-us/power-bi/connect-data/…

David Browne - Microsoft 22.11.2022 17:36

У меня есть еще один (последний, я обещаю) вопрос, и он действительно очень помог бы мне, если бы я мог получить ответ!! Что произойдет, если я нажму кнопку «Обновить» в 15:00, будут ли по умолчанию добавляться данные постепенно, начиная с 00:00 этого дня или с 15:00 предыдущего дня, если для даты обновления установлено значение 1 день? И что произойдет, если я снова нажму «Обновить» через 1 час, в 16:00? Помнит ли он, что он уже получил данные с 15:00 и ранее и что ему нужно добавить данные только за последний час?

muyat 25.11.2022 10:39

Другие вопросы по теме