Преобразование Jolt в идентификатор группировки внутри вложенного json

Ниже я попытался создать json, используя спецификацию jolt, удалив идентификатор во вложенном массиве json. Пожалуйста, помогите мне предоставить ожидаемый выходной json ниже. Идентификатор группы объектов транзакций необходимо исправить, удалив идентификатор. Как показано ниже в ожидаемом выводе JSON

**Введите JSON **

[
  {
    "ALERT_IDENTIFIER": "123",
    "ACCOUNT_ID": "Acc345",
    "CREATION_TIMESTAMP": 1615902235602,
    "TRANSACTION_ID": "Tr123",
    "REASON_SRC_UNIQUE_ID": "TEST123",
    "REASON_SCORE": 67,
    "REASON_TIME_PERIOD": "Daily",
    "REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
    "DATASOURCE_ACC_ID": "NOCTEST1234"
  },
  {
    "ALERT_IDENTIFIER": "123",
    "ACCOUNT_ID": "Acc3478",
    "CREATION_TIMESTAMP": 1615902235602,
    "TRANSACTION_ID": "Tr12356",
    "REASON_SRC_UNIQUE_ID": "TEST123456",
    "REASON_SCORE": 87,
    "REASON_TIME_PERIOD": "Daily",
    "REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
    "DATASOURCE_ACC_ID": "NOCTEST1234"
  },
  {
    "ALERT_IDENTIFIER": "123",
    "ACCOUNT_ID": "Acc3456",
    "CREATION_TIMESTAMP": 1615902235602,
    "TRANSACTION_ID": "Tr123678",
    "REASON_SRC_UNIQUE_ID": "TEST123456",
    "REASON_SCORE": 87,
    "REASON_TIME_PERIOD": "Daily",
    "REASON_DESCRIPTION": "CB05b: In the previous day there was a high amount",
    "DATASOURCE_ACC_ID": "NOCTEST1234"
  }
]

** Спецификация Jolt опробована **

[
  {
    "operation": "shift",
    "spec": {
      "*": {
        "ALERT_IDENTIFIER": "@1,ALERT_IDENTIFIER.id",
        "CREATION_TIMESTAMP": "@1,ALERT_IDENTIFIER.CreationTime",
        "DATASOURCE_ACC_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.SRC_AccountID",
        "REASON_SRC_UNIQUE_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.SRC_ID",
        "REASON_SCORE": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.DetectionScore",
        "REASON_TIME_PERIOD": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.ReasonTimePeriod",
        "ACCOUNT_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.Transactions.@1,TRANSACTION_ID.AccountID",
        "TRANSACTION_ID": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.Transactions.@1,TRANSACTION_ID.TransactionID",
        "REASON_DESCRIPTION": "@1,ALERT_IDENTIFIER.WFI_Reasons.@1,REASON_SRC_UNIQUE_ID.ReasonDescription"
      }
    }
  },
  { //get rid of repetitions, eg. convert arrays to attributes 
    "operation": "cardinality",
    "spec": {
      "*": {
        "*": "ONE",
        "WFI_Reasons": {
          "*": {
            "*": "ONE"
          }
        }
      }
    }
  }, {
    "operation": "shift",
    "spec": {
      "*": {
        "*": "[#2].WF_Workitem.&",
        "WFI_Reasons": {
          "*": "[#3].WF_Workitem.WF_Instance.&1[]"
        }
      }
    }
  }]

Ожидаемый результат

[ {
  "WF_Workitem" : {
    "id" : "123",
    "CreationTime" : 1615902235602,
    "WF_Instance" : {
      "WFI_Reasons" : [ {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123",
        "DetectionScore" : 67,
        "ReasonTimePeriod" : "Daily",
        "Transactions" : [{
           
            "AccountID" : "Acc345",
            "TransactionID" : "Tr123"
          
        }],
        "ReasonDescription" : "CB05b: In the previous day there was a high amount"
      }, {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123456",
        "DetectionScore" : 87,
        "ReasonTimePeriod" : "Daily",
        "Transactions" : [
          {
            "AccountID" : "Acc3478",
            "TransactionID" : "Tr12356"
          },
           {
            "AccountID" : "Acc3456",
            "TransactionID" : "Tr123678"
          }
        ],
        "ReasonDescription" : "CB05b: In the previous day there was a high amount"
      } ]
    }
  }
} ]

фактический выпуск

[ {
  "WF_Workitem" : {
    "id" : "123",
    "CreationTime" : 1615902235602,
    "WF_Instance" : {
      "WFI_Reasons" : [ {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123",
        "DetectionScore" : 67,
        "ReasonTimePeriod" : "Daily",
        "Transactions" : {
          "Tr123" : {
            "AccountID" : "Acc345",
            "TransactionID" : "Tr123"
          }
        },
        "ReasonDescription" : "CB05b: In the previous day there was a high amount"
      }, {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123456",
        "DetectionScore" : 87,
        "ReasonTimePeriod" : "Daily",
        "Transactions" : {
          "Tr12356" : {
            "AccountID" : "Acc3478",
            "TransactionID" : "Tr12356"
          },
          "Tr123678" : {
            "AccountID" : "Acc3456",
            "TransactionID" : "Tr123678"
          }
        },
        "ReasonDescription" : "CB05b: In the previous day there was a high amount"
      } ]
    }
  }
} ]

Ожидаемый результат не является допустимым JSON.

Raymond Choi 29.08.2024 18:43

Извините за неудобства, исправил Ожидаемый json

Vishal k 29.08.2024 19:20
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
В компьютерном программировании биты играют важнейшую роль в представлении и манипулировании данными на двоичном уровне. Побитовые операции...
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Приходилось ли вам сталкиваться с требованиями, в которых вас могли попросить поднять тревогу или выдать ошибку, когда метод Java занимает больше...
Полный курс Java для разработчиков веб-сайтов и приложений
Полный курс Java для разработчиков веб-сайтов и приложений
Получите сертификат Java Web и Application Developer, используя наш курс.
0
2
50
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Я думаю, что вы находитесь на верном пути в первых двух спецификациях преобразования, однако в третьем преобразовании вы, похоже, хотите повторно объединить каждый уровень группы в массив, а не иметь поле заголовка группы, и я не думаю, что это возможно за одно преобразование. Каждый уровень группы должен выполняться с использованием собственного преобразования сдвига, начиная с самого высокого уровня группы, а затем спускаясь вниз, поскольку следующий уровень группы будет зависеть от того, как структурирован уровень родительской группы, если это имеет какой-либо смысл.

При этом после преобразования мощности у вас будет следующее преобразование в 3 смены для каждого уровня группы (рабочий элемент -> wfi_reasons -> транзакции):

[...
 {
    "operation": "shift",
    "spec": {
      "*": "[].WF_Workitem"
    }
  }
  ,
  {
    "operation": "shift",
    "spec": {
      "*": {
        "WF_Workitem": {
          "*": "[&2].&1.&",
          "WFI_Reasons": {
            "*": "[&3].&2.WF_Instance.&1[]"
          }
        }
      }
    }
  }
  ,
  {
    "operation": "shift",
    "spec": {
      "*": {
        "WF_Workitem": {
          "*": "[&2].&1.&",
          "WF_Instance": {
            "WFI_Reasons": {
              "*": {
                "*": "[&5].&4.&3.&2[&1].&",
                "Transactions": {
                  "*": "[&6].&5.&4.&3[&2].&1[]"
                }
              }
            }
          }
        }
      }
    }
  }]

Также я бы рекомендовал в этих сценариях изучить jslt , который является еще одним языком преобразования для json (если вы используете Nifi, для этого также есть процессор). Учитывая, что jslt имеет функцию group-by, преобразование будет проще и читабельнее с гораздо меньшим количеством строк кода, как показано ниже:

import "http://jslt.schibsted.com/2018/experimental" as exp

let id_group=  exp:group-by(., {"id":.ALERT_IDENTIFIER,"CreationTime":.CREATION_TIMESTAMP},.)

let id_nested_group= [ for($id_group) 
                          {
                             "WF_Workitem":{
                                "WF_Instance" :{
                                     let x= exp:group-by(.values,
                                                        {"SRC_AccountID":.DATASOURCE_ACC_ID,
                                                         "SRC_ID":.REASON_SRC_UNIQUE_ID,
                                                          "DetectionScore":.REASON_SCORE,
                                                          "ReasonTimePeriod":.REASON_TIME_PERIOD,
                                                          "ReasonDescription":.REASON_DESCRIPTION},
                                                        {"AccountID":.ACCOUNT_ID,
                                                          "TransactionID":.TRANSACTION_ID
                                                        })
                                     "WFI_Reasons": [for($x) {"Transactions":.values}+.key]
                                              }
                                         }+.key
                         }
                   ]

$id_nested_group   

Надеюсь, вы найдете это полезным.

Большое спасибо, это действительно очень помогает и работает нормально, спасибо, что поделились ответом.

Vishal k 30.08.2024 18:13

Подобно рекомендации @samer-saleh, вы можете попробовать другой язык преобразования JSON Josson, предназначенный для Java. Он также имеет функцию группировки, и выражение преобразования для вашего случая намного короче.

https://github.com/octomix/josson

Josson josson = Josson.fromJsonString(inputJson);
JsonNode node = josson.getNode(
    "group(" +
    "  key: map(" +
    "    id: ALERT_IDENTIFIER," +
    "    CreationTime: CREATION_TIMESTAMP)" +
    ")@" +
    ".map(" +
    "  WF_Workitem: key.field(" +
    "    WF_Instance: map(" +
    "      WFI_Reasons: ..elements.group(" +
    "        key: map(" +
    "          SRC_AccountID: DATASOURCE_ACC_ID," +
    "          SRC_ID: REASON_SRC_UNIQUE_ID," +
    "          DetectionScore: REASON_SCORE," +
    "          ReasonTimePeriod: REASON_TIME_PERIOD," +
    "          ReasonDescription: REASON_DESCRIPTION)," +
    "        map(" +
    "          AccountID: ACCOUNT_ID," +
    "          TransactionID: TRANSACTION_ID)" +
    "      )@" +
    "      .key.field(Transactions: ..elements)" +
    "    )" +
    "  )" +
    ")");
System.out.println(node.toPrettyString());

Выход

[ {
  "WF_Workitem" : {
    "id" : "123",
    "CreationTime" : 1615902235602,
    "WF_Instance" : {
      "WFI_Reasons" : [ {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123",
        "DetectionScore" : 67,
        "ReasonTimePeriod" : "Daily",
        "ReasonDescription" : "CB05b: In the previous day there was a high amount",
        "Transactions" : [ {
          "AccountID" : "Acc345",
          "TransactionID" : "Tr123"
        } ]
      }, {
        "SRC_AccountID" : "NOCTEST1234",
        "SRC_ID" : "TEST123456",
        "DetectionScore" : 87,
        "ReasonTimePeriod" : "Daily",
        "ReasonDescription" : "CB05b: In the previous day there was a high amount",
        "Transactions" : [ {
          "AccountID" : "Acc3478",
          "TransactionID" : "Tr12356"
        }, {
          "AccountID" : "Acc3456",
          "TransactionID" : "Tr123678"
        } ]
      } ]
    }
  }
} ]

Другие вопросы по теме