Kafka AVRO не может отправить значение как дату

у меня есть схема avro:

  "fields" : [ {
    "name" : "errortime",
    "type": [ "null", {
      "type": "long",
      "logicalType": "timestamp-millis"
    }]

которые создают класс java с полем как joda DateTime errortime.

Когда я пытаюсь сериализовать в формат avro, я получаю следующую ошибку:

Caused by: org.apache.avro.AvroRuntimeException: Unknown datum type org.joda.time.DateTime: 2018-05-02T12:32:27.563Z

Как избежать этой проблемы?

как вы создаете свой объект avro и как вы сериализуете? вы используете schemaregistry + KafkaAvroSerializer? или DatumWriter?

hlagos 02.05.2018 18:52

Привет. для создания объекта java avro я использую плагин gradle (com.commercehub.gradle.plugin.avro) для сериализации я использую KafkaAvroSerializer () с реестром kafka

Mikhail 02.05.2018 18:57

Мой первый вопрос был больше о том, как вы создаете экземпляр класса avro (создавая объект), который сериализуется. как вы заполняете поле даты? Вы пробовали воспроизвести это как модульный тест?

hlagos 02.05.2018 22:16

эта проблема не в моем коде, проблема в коннекторе приемника kafka jdbc

Mikhail 03.05.2018 13:06

Мне было бы полезно увидеть ваш код и предоставить весь журнал ошибок ..

hlagos 03.05.2018 14:56

Я считаю, что это ошибка: issues.apache.org/jira/browse/AVRO-1891. но если вы знаете, как решить, я предоставлю всю информацию

Mikhail 03.05.2018 15:09

Была та же проблема, для обходного пути Проверьте решение, опубликованное здесь

Krik 08.10.2018 13:22
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
7
829
0

Другие вопросы по теме