Подключение к данным сетки событий Azure Data Explorer
Я работаю над приемом данных из хранилища в ADX с использованием подключения к сетке событий, которое осуществляется через концентраторы событий. Что меня смущает, так это то, что согласно документации Microsoft размер сообщения для EventGrid и Event Hub не может превышать 1 МБ. https://learn.microsoft.com/en-us/azure/event-hubs/event-hubs-quotas . Но эта ( https://learn.microsoft.com/en-us/azure/data-explorer/create-event-grid-connection?tabs=portal-adx%2Cazure-blob-storage) документация о создании Event Grid-соединение для приема данных в ADX через концентраторы событий говорит, что размер файла может достигать 6 ГБ.
Мой вопрос- #1 Почему предел размера сообщения для ADX отличается? #2 Есть ли в Центре событий параметр или конфигурация, определяющая, что будет опубликовано? например, если это большой двоичный объект, предел размера сообщения увеличивается? #3 Это похоже на то, что ADX использует потоковые/пакетные сообщения, что позволяет ему достигать 6 ГБ?
Ответы 1
Насколько я понимаю, концентратор событий будет просто содержать сообщение типа «сохраняется новый файл» в формате Json. Это сообщение инициируется подпиской на события в хранилище BLOB-объектов.
Затем в ADX вы определяете соединение для передачи данных. В зависимости от концентратора событий, указанного в соединении, новый файл будет загружен.
В этом сценарии сообщения Центра событий имеют размер всего несколько байтов. Само содержимое хранится в BLOB-объекте, поэтому его прием не зависит от размера сообщения концентратора событий.
Да, я тоже об этом подумал, под капотом он использует шаблон проверки претензий.