Ниже я попытался создать json, используя спецификацию jolt, удалив идентификатор во вложенном массиве json. Пожалуйста, помогите мне предоставить ожидаемый выходной json ниже. Идентификатор группы объектов транзакций необходимо исправить, удалив идентификатор. Как показано ниже в ожидаемом выводе JSON
**Введите JSON **
[
{
"ALERT_IDENTIFIER": "123",
"ACCOUNT_ID": "Acc345",
"CREATION_TIMESTAMP": 1615902235602,
"TRANSACTION_ID": "Tr123",
"REASON_SRC_UNIQUE_ID": "TEST123",
"REASON_SCORE": 67,
"REASON_TIME_PERIOD": "Daily",
"REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
"DATASOURCE_ACC_ID": "NOCTEST1234"
},
{
"ALERT_IDENTIFIER": "123",
"ACCOUNT_ID": "Acc3478",
"CREATION_TIMESTAMP": 1615902235602,
"TRANSACTION_ID": "Tr12356",
"REASON_SRC_UNIQUE_ID": "TEST123456",
"REASON_SCORE": 87,
"REASON_TIME_PERIOD": "Daily",
"REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
"DATASOURCE_ACC_ID": "NOCTEST1234"
},
{
"ALERT_IDENTIFIER": "123",
"ACCOUNT_ID": "Acc3456",
"CREATION_TIMESTAMP": 1615902235602,
"TRANSACTION_ID": "Tr123678",
"REASON_SRC_UNIQUE_ID": "TEST123456",
"REASON_SCORE": 87,
"REASON_TIME_PERIOD": "Daily",
"REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
"DATASOURCE_ACC_ID": "NOCTEST1234"
}
]
** Спецификация Jolt опробована **
[
{
"operation": "shift",
"spec": {
"*": {
"ALERT_IDENTIFIER": "@1,ALERT_IDENTIFIER.id",
"CREATION_TIMESTAMP": "@1,ALERT_IDENTIFIER.CreationTime",
"DATASOURCE_ACC_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.SRC_AccountID",
"REASON_SRC_UNIQUE_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.SRC_ID",
"REASON_SCORE": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.DetectionScore",
"REASON_TIME_PERIOD": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.ReasonTimePeriod",
"ACCOUNT_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.Transactions.@1,TRANSACTION_ID.AccountID",
"TRANSACTION_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.Transactions.@1,TRANSACTION_ID.TransactionID",
"REASON_DESCRIPTION": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.ReasonDescription"
}
}
},
{ //get rid of repetitions, eg. convert arrays to attributes
"operation": "cardinality",
"spec": {
"*": {
"*": "ONE",
"WFI_Reasons": {
"*": {
"*": "ONE"
}
}
}
}
}, {
"operation": "shift",
"spec": {
"*": {
"*": "[#2].WF_Workitem.&",
"WFI_Reasons": {
"*": "[#3].WF_Workitem.WF_Instance.&1[]"
}
}
}
}]
Ожидаемый результат
[ {
"WF_Workitem" : {
"id" : "123",
"CreationTime" : 1615902235602,
"WF_Instance" : {
"WFI_Reasons" : [ {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123",
"DetectionScore" : 67,
"ReasonTimePeriod" : "Daily",
"Transactions" : [{
"AccountID" : "Acc345",
"TransactionID" : "Tr123"
}],
"ReasonDescription" : "CB05b: In the previous day there was a high amount"
}, {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123456",
"DetectionScore" : 87,
"ReasonTimePeriod" : "Daily",
"Transactions" : [
{
"AccountID" : "Acc3478",
"TransactionID" : "Tr12356"
},
{
"AccountID" : "Acc3456",
"TransactionID" : "Tr123678"
}
],
"ReasonDescription" : "CB05b: In the previous day there was a high amount"
} ]
}
}
} ]
фактический выпуск
[ {
"WF_Workitem" : {
"id" : "123",
"CreationTime" : 1615902235602,
"WF_Instance" : {
"WFI_Reasons" : [ {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123",
"DetectionScore" : 67,
"ReasonTimePeriod" : "Daily",
"Transactions" : {
"Tr123" : {
"AccountID" : "Acc345",
"TransactionID" : "Tr123"
}
},
"ReasonDescription" : "CB05b: In the previous day there was a high amount"
}, {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123456",
"DetectionScore" : 87,
"ReasonTimePeriod" : "Daily",
"Transactions" : {
"Tr12356" : {
"AccountID" : "Acc3478",
"TransactionID" : "Tr12356"
},
"Tr123678" : {
"AccountID" : "Acc3456",
"TransactionID" : "Tr123678"
}
},
"ReasonDescription" : "CB05b: In the previous day there was a high amount"
} ]
}
}
} ]
Извините за неудобства, исправил Ожидаемый json




Я думаю, что вы находитесь на верном пути в первых двух спецификациях преобразования, однако в третьем преобразовании вы, похоже, хотите повторно объединить каждый уровень группы в массив, а не иметь поле заголовка группы, и я не думаю, что это возможно за одно преобразование. Каждый уровень группы должен выполняться с использованием собственного преобразования сдвига, начиная с самого высокого уровня группы, а затем спускаясь вниз, поскольку следующий уровень группы будет зависеть от того, как структурирован уровень родительской группы, если это имеет какой-либо смысл.
При этом после преобразования мощности у вас будет следующее преобразование в 3 смены для каждого уровня группы (рабочий элемент -> wfi_reasons -> транзакции):
[...
{
"operation": "shift",
"spec": {
"*": "[].WF_Workitem"
}
}
,
{
"operation": "shift",
"spec": {
"*": {
"WF_Workitem": {
"*": "[&2].&1.&",
"WFI_Reasons": {
"*": "[&3].&2.WF_Instance.&1[]"
}
}
}
}
}
,
{
"operation": "shift",
"spec": {
"*": {
"WF_Workitem": {
"*": "[&2].&1.&",
"WF_Instance": {
"WFI_Reasons": {
"*": {
"*": "[&5].&4.&3.&2[&1].&",
"Transactions": {
"*": "[&6].&5.&4.&3[&2].&1[]"
}
}
}
}
}
}
}
}]
Также я бы рекомендовал в этих сценариях изучить jslt , который является еще одним языком преобразования для json (если вы используете Nifi, для этого также есть процессор). Учитывая, что jslt имеет функцию group-by, преобразование будет проще и читабельнее с гораздо меньшим количеством строк кода, как показано ниже:
import "http://jslt.schibsted.com/2018/experimental" as exp
let id_group= exp:group-by(., {"id":.ALERT_IDENTIFIER,"CreationTime":.CREATION_TIMESTAMP},.)
let id_nested_group= [ for($id_group)
{
"WF_Workitem":{
"WF_Instance" :{
let x= exp:group-by(.values,
{"SRC_AccountID":.DATASOURCE_ACC_ID,
"SRC_ID":.REASON_SRC_UNIQUE_ID,
"DetectionScore":.REASON_SCORE,
"ReasonTimePeriod":.REASON_TIME_PERIOD,
"ReasonDescription":.REASON_DESCRIPTION},
{"AccountID":.ACCOUNT_ID,
"TransactionID":.TRANSACTION_ID
})
"WFI_Reasons": [for($x) {"Transactions":.values}+.key]
}
}+.key
}
]
$id_nested_group
Надеюсь, вы найдете это полезным.
Большое спасибо, это действительно очень помогает и работает нормально, спасибо, что поделились ответом.
Подобно рекомендации @samer-saleh, вы можете попробовать другой язык преобразования JSON Josson, предназначенный для Java. Он также имеет функцию группировки, и выражение преобразования для вашего случая намного короче.
https://github.com/octomix/josson
Josson josson = Josson.fromJsonString(inputJson);
JsonNode node = josson.getNode(
"group(" +
" key: map(" +
" id: ALERT_IDENTIFIER," +
" CreationTime: CREATION_TIMESTAMP)" +
")@" +
".map(" +
" WF_Workitem: key.field(" +
" WF_Instance: map(" +
" WFI_Reasons: ..elements.group(" +
" key: map(" +
" SRC_AccountID: DATASOURCE_ACC_ID," +
" SRC_ID: REASON_SRC_UNIQUE_ID," +
" DetectionScore: REASON_SCORE," +
" ReasonTimePeriod: REASON_TIME_PERIOD," +
" ReasonDescription: REASON_DESCRIPTION)," +
" map(" +
" AccountID: ACCOUNT_ID," +
" TransactionID: TRANSACTION_ID)" +
" )@" +
" .key.field(Transactions: ..elements)" +
" )" +
" )" +
")");
System.out.println(node.toPrettyString());
Выход
[ {
"WF_Workitem" : {
"id" : "123",
"CreationTime" : 1615902235602,
"WF_Instance" : {
"WFI_Reasons" : [ {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123",
"DetectionScore" : 67,
"ReasonTimePeriod" : "Daily",
"ReasonDescription" : "CB05b: In the previous day there was a high amount",
"Transactions" : [ {
"AccountID" : "Acc345",
"TransactionID" : "Tr123"
} ]
}, {
"SRC_AccountID" : "NOCTEST1234",
"SRC_ID" : "TEST123456",
"DetectionScore" : 87,
"ReasonTimePeriod" : "Daily",
"ReasonDescription" : "CB05b: In the previous day there was a high amount",
"Transactions" : [ {
"AccountID" : "Acc3478",
"TransactionID" : "Tr12356"
}, {
"AccountID" : "Acc3456",
"TransactionID" : "Tr123678"
} ]
} ]
}
}
} ]
Ожидаемый результат не является допустимым JSON.