Оптимизация приема данных Azure AKS в аналитике журналов
Я использую azure AKS для развертывания модели обучения Mechine, и он автоматически развертывает модели еженедельно.
Теперь AKS производит больше затрат на прием данных аналитики журналов.
Мы работаем над оптимизацией приема данных в аналитику журналов.
у меня есть два узла в AKS
Каким-то образом мы можем уменьшить потребление данных. но когда я вижу прием данных сегодня за последние 24 часа, он снова увеличивается, и когда я пытаюсь увидеть узлы, которые производят оплачиваемый прием данных, он показывает еще одно поле, которое отображается как «устаревшее поле: см. http://aka»
ниже я упомянул запрос и результат запроса для справки
запрос
find where TimeGenerated > ago(24h) project _BilledSize, Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize TotalVolumeBytes=sum(_BilledSize) by computerName
результат запроса
ComputerName TotalVolumeBytes
aks-agentpool-28198374-vmss000007 232,567,315
aks-agentpool-28198374-vmss000001 617,340,843
deprecated field: see http://aka 129,052
computerName
deprecated field: see http://aka
TotalVolumeBytes
129052
Вот мои узлы aks-agentpool-28198374-vmss000007 и aks-agentpool-28198374-vmss000001.
Но я понятия не имею об «устаревшем поле: см. http://aka»
Я не занимаюсь развертыванием модели ML (явно не знаю), и я спросил команду ML, и они также не знают, как это произошло.
Я проанализировал множество документов и запросов, но так и не смог получить ответ, что это такое и как от этого избавиться.
Может ли кто-нибудь помочь мне в этом, что это в моем списке узлов и как я могу это остановить?
Ответы 1
Значение, которое вы получаете http://aka, вероятно, является частью ссылки на какую-то документацию Microsoft. Однако вы усекаете его, когда делаете tolower(tostring(split(Computer, '.')[0])).
Попробуйте добавить Computer к пункту резюме, чтобы получить полную ссылку:
find where TimeGenerated > ago(24h) project _BilledSize, Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize TotalVolumeBytes=sum(_BilledSize) by computerName, Computer
Как только вы это сделаете, вы обнаружите, что значение поля Computer равно Deprecated field: see http://aka.ms/LA-Usage
Посещение эта ссылка сообщает вам, что таблица Usage содержит «Почасовые данные об использовании для каждой таблицы в рабочей области».. А в таблице ссылок на столбцы вы можете увидеть, что есть ряд столбцов, которые устарели, например «Компьютер».
I.e Поле компьютера устарело и позже будет удалено из таблицы использования. Оно все еще там, но значение поля всегда будет Deprecated field: see http://aka.ms/LA-Usage , пока оно не будет удалено на неопределенный срок.
Это просто означает, что поле Computer в таблице использования больше не должно использоваться и будет удалено. Одна только таблица использования больше не может использоваться для определения того, какие Computer понесли какие затраты.
Вы можете запросить таблицу использования с помощью следующего запроса и увидеть, что поле Computer всегда содержит сообщение об устаревании.
Usage
| summarize sum(_BilledSize) by Computer, SourceSystem, DataType, Type
Обновлено:
Если вас интересует, какой ресурс вносит больший вклад в стоимость вашего рабочего пространства, а не какой ресурс создает больше всего журналов (которые не обязательно должны совпадать, поскольку некоторые данные принимаются бесплатно в аналитике журналов), добавьте _IsBillable как фильтр для вашего запроса, чтобы исключить записи, которые не оплачиваются:
find where TimeGenerated > ago(24h) project _BilledSize, Computer, _IsBillable
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != "" and _IsBillable == true
| summarize TotalVolumeBytes=sum(_BilledSize) by computerName
Поскольку записи в таблице использования, в которых поле Computer является устаревшим, не подлежат оплате, оно не будет отображаться.
ты прибил это человек. Я только что потратил впустую более 2 часов, чтобы найти, и не смог найти ничего, кроме одной минуты чтения вашего комментария, которая мне очень помогает. На самом деле я запускаю этот запрос, чтобы узнать, какие узлы отправляют данные в журнал аналитики. Но я не мог получить устаревшее имя узла. можете ли вы сказать мне, как я могу найти имя узла в этом устаревшем поле.
Устарел не узел, а поле. Я не знаю, как получить значение поля имени компьютера в таблице использования.
Однако, если вас интересует, какой ресурс вносит больший вклад в рост, а не какой ресурс генерирует больше журналов, вы можете добавить _IsBillable == true к своему фильтру. Записи в таблице использования, в которых поле Computer устарело, в любом случае не подлежат оплате.
хорошая информация брат! ваши пункты очень полезны для моего анализа. также не могли бы вы сказать мне, как я могу видеть данные в ГБ вместо байтов? а также не могли бы вы сказать мне, как я могу увидеть наиболее оплачиваемые данные, полученные каждым модулем. Моим анализам всегда не удавалось найти точный ответ, поскольку я совершенно новичок в лазурных запросах AKS и kql и анализе данных. помогите мне, если у вас есть какие-либо идеи по этому поводу
На самом деле наша команда машинного обучения не развертывала кластер aks вручную. Все эти файлы YAML являются встроенными конфигурациями. Поэтому они просят провести глубокий анализ данных. Таким образом, они могут проверить, в частности, какой модуль, какое пространство имен создает оплачиваемые данные, и оптимизировать их. Было бы лучше знать порядок, в котором модуль и пространство имен генерируют больше оплачиваемых данных.
1 ГБ = 1024^3 байта = 1073741824 байта, просто разделите TotalVolumeBytes на это. Когда речь идет о модулях, генерирующих оплачиваемые данные, это в основном связано с ведением журнала. Однако многие данные, принимаемые для AKS, поступают не из модулей. Это журналы платформы, инвентаризация, возможно, журналы аудита, если они включены. То есть большая часть журналов вряд ли связана с модулем или даже с пространством имен.
См. эту статью для Понимание затрат на мониторинг для Container Insights и эту для того, как Настройка сбора данных агента для анализа контейнеров
Привет, если ответ Даниэлорна поможет, не забудьте отметьте его ответ.