Как эффективно перенести выходные данные JSON в рабочую область Azure Log Analytics
У меня есть данные (650 тыс. строк), которые я хочу сохранить с помощью модуля Send data to Azure Log Analytics workspace.
это мой рабочий процесс:
но я получаю эту ошибку:
"message": "The response is not in a JSON format.",
"innerError": "The page was not displayed because the request entity is too large."
когда я отправляю данные на 20 строк, это работает.
Я считаю, что где-то в 650 тысячах строк строка нарушает json, из-за чего он выдает мне эту ошибку.
Я считаю, что Advanced Hunting дает мне на выходе только ~ 95 тысяч строк, хотя существует 650 тысяч строк. возможно, мне придется структурировать его так, чтобы он давал мне 50 тысяч строк за раз и отправлял их.
какой наиболее эффективный способ отправить эти данные в патронах с помощью приложений логики?
Ответы 1
Вот возможное решение.
Узнайте, какова максимальная длина данных:
Сохраните это как переменную
Инициализируйте переменную, указывающую, сколько фрагментов мы хотим. здесь я разделил общую длину на 10 000 . это количество кусков, которые нам нужны.t
затем мы создаем массив индексов, то есть длину фрагментов, т. е. ([1,2,3,4,5 и т. д.]).
length(variables('numberArray'))иadd(variables('lengthofarray'),1)Теперь для каждого индекса массива мы отправляем фрагмент данных из таблицы. оператор Between имеет
sub(mul(int(items('send_logs_to_LAW')),10000),10000)иmul(int(items('send_logs_to_LAW')),10000), это позволяет нам читать только 10 000 строк и отправлять 10 000 строк, чтобы мы не достигли предела модуля отправки данных.
Это решение, использующее приложения логики. Однако может ли быть лучшее решение с правилами DCR?