Существует веб-приложение, которое создает отчеты журнала в Azure Application Insights. Я хочу создать панель мониторинга Power BI, которая использует эти данные для создания визуализаций. Но данные должны быть сохранены в Power BI, иначе мне придется запрашивать ПОЛНЫЕ данные каждый раз, когда я нажимаю «обновить», что и происходит прямо сейчас. Это слишком неэффективно. Я хочу получить данные за последние пару дней и сохранить/сохранить эти данные, а также постепенно добавлять новые данные поверх них каждый раз, когда я нажимаю кнопку «Обновить».
Я попытался внедрить добавочное обновление Power BI, но, по-видимому, это неприменимо к этому источнику данных.
Есть ли способ заставить работать добавочное обновление или есть какая-то другая альтернатива для этого?
Я надеюсь, что кто-то может помочь мне с этим. Спасибо.
Запрос, созданный с помощью Azure Application Insights для Power BI, выглядит следующим образом: /*
The exported Power Query Formula Language (M Language ) can be used with Power Query in Excel
and Power BI Desktop.
For Power BI Desktop follow the instructions below:
1) Download Power BI Desktop from https://powerbi.microsoft.com/desktop/
2) In Power BI Desktop select: 'Get Data' -> 'Blank Query'->'Advanced Query Editor'
3) Paste the M Language script into the Advanced Query Editor and select 'Done'
*/
let AnalyticsQuery =
let Source = Json.Document(Web.Contents("https://api.applicationinsights.io/v1/apps/15a450/query",
[Query=[#"query" = "traces
",#"x-ms-app" = "AAPBI",#"timespan" = "PT12H",#"prefer" = "ai.response-thinning=true"],Timeout=#duration(0,0,4,0)])),
TypeMap = #table(
{ "AnalyticsTypes", "Type" },
{
{ "string", Text.Type },
{ "int", Int32.Type },
{ "long", Int64.Type },
{ "real", Double.Type },
{ "timespan", Duration.Type },
{ "datetime", DateTimeZone.Type },
{ "bool", Logical.Type },
{ "guid", Text.Type },
{ "dynamic", Text.Type }
}),
DataTable = Source[tables]{0},
Columns = Table.FromRecords(DataTable[columns]),
ColumnsWithType = Table.Join(Columns, {"type"}, TypeMap , {"AnalyticsTypes"}),
Rows = Table.FromRows(DataTable[rows], Columns[name]),
Table = Table.TransformColumnTypes(Rows, Table.ToList(ColumnsWithType, (c) => { c{0}, c{3}}))
in
Table
in AnalyticsQuery
Спасибо. Я сделал все это. Но «Просмотр собственного запроса» выделен серым цветом. И, согласно Microsoft, «на панели «Параметры запроса», когда вы щелкаете правой кнопкой мыши последний примененный шаг, если параметр «Просмотр собственного запроса» включен (не выделен серым цветом), тогда весь запрос может быть свернут». Это означает, что запрос не является складным, но он должен быть складным, иначе добавочное обновление не сработает.
Кстати, я создал «Пустой запрос» для получения данных из Azure Application Insights (который работает).
Инкрементное обновление (несмотря на некоторые запутанные формулировки в документации) не зависит от свертки запроса. Параметры RangeStart/RangeEnd уже введены в ваш запрос. Если ваш запрос нельзя свернуть и вы хотите использовать функцию «Обнаружение изменений данных», вам необходимо предоставить настраиваемый запрос обнаружения изменений. Согласно blog.crossjoin.co.uk/2022/07/31/…
Так что я могу игнорировать тот факт, что «Просмотр собственного запроса» неактивен?
Кроме того, запрос, который я создал; Я экспортировал это через Azure AI, написав запрос в Azure AI, запустив его и нажав кнопку экспорта. Это запрос, который я использую в Power BI Blank Query. Экспорт/запрос содержит «промежуток времени» = «P2D». Разве это не мешает RangeStart/RangeEnd? Представьте, что временной интервал равен 2 дням, а RangeEnd, например, равен 10 дням.
Однозначно будет мешать. Вы должны переписать запрос, чтобы использовать параметры RangeStart и RangeEnd для TIMESTAMP. ЭГ | where TIMESTAMP >= datetime(2022-11-03 00:00:00)
Собственно, временной интервал используется для этого? ",#"x-ms-app" = "AAPBI",#"timespan" = "P2D",#"prefer" = "ai.response-thinning=true"],Timeout=#duration(0 ,0,4,0)])), TypeMap = #table( { "AnalyticsTypes", "Type" }, { { "string", Text.Type }, { "int", Int32.Type }, { " long", Int64.Type }, { "real", Double.Type }, { "timespan", Duration.Type }, { "datetime", DateTimeZone.Type }, { "bool", Logical.Type }, { " guid", Text.Type }, { "dynamic", Text.Type } }), DataTable = Source[tables]{0}, Columns = Table.FromRecords(DataTable[columns]),........ ......
Это (только часть запроса) создается, когда я экспортировал свой собственный запрос для использования в Power BI. (сделал это через Azure Application Insights, в меню указано "экспорт для power bi").
Пожалуйста, добавьте весь PQ к вашему вопросу. Изменение необходимо внести в KQL.
Я просто добавил запрос в целом! Это запрос в его простейшей форме (по сути, я дважды щелкнул таблицу трассировок в Azure AI и выбрал фильтрацию за последние 12 часов, затем я щелкнул «Выполнить» и экспортировал запрос для использования в Power BI). Так что настоящего KQL нет... Я НЕ делал что-то вроде "трассировки, где сообщение == "test123", это просто "трассировка" и ничего более.
Начните с запроса KQL, в котором используется диапазон дат, например
traces
| where timestamp >= datetime(2022-11-20 00:00:00)
| where timestamp < datetime(2022-11-22 00:00:00)
Затем после экспорта в Power Query интегрируйте параметры RangeStart и RangeEnd, как показано ниже.
:
let AnalyticsQuery =
let
strRangeStart = DateTime.ToText(RangeStart,[Format = "yyyy-MM-dd'T'HH:mm:ss'Z'", Culture = "en-US"]),
strRangeEnd = DateTime.ToText(RangeEnd,[Format = "yyyy-MM-dd'T'HH:mm:ss'Z'", Culture = "en-US"]),
Source = Json.Document(Web.Contents("https://api.applicationinsights.io/v1/apps/60845e27-7ed2-42ef-8ade-25a2fe8236ef/query",
[Query=[#"query" = "traces
| where timestamp >= datetime(" & strRangeStart &")
| where timestamp < datetime("& strRangeEnd &")
",#"x-ms-app" = "AAPBI",#"prefer" = "ai.response-thinning=true"],Timeout=#duration(0,0,4,0)])),
TypeMap = #table(
{ "AnalyticsTypes", "Type" },
{
{ "string", Text.Type },
{ "int", Int32.Type },
{ "long", Int64.Type },
{ "real", Double.Type },
{ "timespan", Duration.Type },
{ "datetime", DateTimeZone.Type },
{ "bool", Logical.Type },
{ "guid", Text.Type },
{ "dynamic", Text.Type }
}),
DataTable = Source[tables]{0},
Columns = Table.FromRecords(DataTable[columns]),
ColumnsWithType = Table.Join(Columns, {"type"}, TypeMap , {"AnalyticsTypes"}),
Rows = Table.FromRows(DataTable[rows], Columns[name]),
Table = Table.TransformColumnTypes(Rows, Table.ToList(ColumnsWithType, (c) => { c{0}, c{3}}))
in
Table
in AnalyticsQuery
Большое спасибо за вашу помощь! Я попробую это завтра, и дам вам знать! :)
Для чего используются RangeStart и RangeEnd? Является ли начало для «ЗАГРУЗИТЬ один раз» и конец для «поэтапного добавления этой части данных»?
Задокументировано здесь: learn.microsoft.com/en-us/power-bi/connect-data/…
У меня есть еще один (последний, я обещаю) вопрос, и он действительно очень помог бы мне, если бы я мог получить ответ!! Что произойдет, если я нажму кнопку «Обновить» в 15:00, будут ли по умолчанию добавляться данные постепенно, начиная с 00:00 этого дня или с 15:00 предыдущего дня, если для даты обновления установлено значение 1 день? И что произойдет, если я снова нажму «Обновить» через 1 час, в 16:00? Помнит ли он, что он уже получил данные с 15:00 и ранее и что ему нужно добавить данные только за последний час?
Инкрементное обновление — самое простое решение. Он не требует ничего особенного от источника данных; вам просто нужно интегрировать параметры RangeStart/RangeEnd в Power Query.