Я пытаюсь опубликовать сообщение avro, используя AvroProducer confluent-kafka-python, используя реестр схемы. Но код не может сериализовать типы перечислений. Ниже приведен код и трассировка ошибки. Любая помощь горячо приветствуется.
from confluent_kafka import avro
from confluent_kafka.avro import AvroProducer
from example_schema.schema_classes import SCHEMA as value_schema
from example_schema.com.acme import *
import json
def function():
avroProducer = AvroProducer({ 'bootstrap.servers': 'localhost:9092', 'schema.registry.url': 'http://localhost:8081' }, default_value_schema=value_schema)
print(avroProducer)
obj = Test()
obj.name = 'vinay'
obj.age = 11
obj.sex = 'm'
obj.myenum = Suit.CLUBS
print(str(obj))
avroProducer.produce(topic='test_topic',value=obj)
avroProducer.flush()
function()
File "main.py", line 16, in function
avroProducer.produce(topic='test_topic',value=json.dumps(obj))
File "/home/priv/anaconda3/lib/python3.6/site-packages/confluent_kafka/avro/__init__.py", line 80, in produce
value = self._serializer.encode_record_with_schema(topic, value_schema, value)
File "/home/priv/anaconda3/lib/python3.6/site-packages/confluent_kafka/avro/serializer/message_serializer.py", line 105, in encode_record_with_schema
schema_id = self.registry_client.register(subject, schema)
File "/home/priv/anaconda3/lib/python3.6/site-packages/confluent_kafka/avro/cached_schema_registry_client.py", line 216, in register
body = {'schema': json.dumps(avro_schema.to_json())}
File "/home/priv/anaconda3/lib/python3.6/json/__init__.py", line 231, in dumps
return _default_encoder.encode(obj)
File "/home/priv/anaconda3/lib/python3.6/json/encoder.py", line 199, in encode
chunks = self.iterencode(o, _one_shot=True)
File "/home/priv/anaconda3/lib/python3.6/json/encoder.py", line 257, in iterencode
return _iterencode(o, 0)
File "/home/priv/anaconda3/lib/python3.6/json/encoder.py", line 180, in default
o.__class__.__name__)
TypeError: Object of type 'mappingproxy' is not JSON serializable
Схема Авро -
{
"type": "record",
"name": "Test",
"namespace": "com.acme",
"fields": [{
"name": "name",
"type": "string"
}, {
"name": "age",
"type": "int"
}, {
"name": "sex",
"type": "string"
}, {
"name": "myenum",
"type": ["null", {
"type": "enum",
"name": "Suit",
"symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]
}
]
}
]
}






Поскольку вы используете AvroProducer, json.dumps ничего не делайте.
Если вы посмотрите на примеры производителя, отправляемый объект является словарем, а не строкой JSON.
https://github.com/confluentinc/confluent-kafka-python/blob/master/examples/avro-cli.py
API Confluent-Kafka python имеет проблему совместимости с avro-python3 1.9.0 в соответствии с этим связь. Решение, которое сработало для меня, заключалось в том, чтобы понизить API avro-python3 с 1.9.0 до 1.8.2.
Если у вас нет возможности понизить версию API avro-python3 с 1.9.0 до 1.8.2, возможно, вам придется отказаться от типа enum и заменить его на string.
"type": ["null", {
"type": "enum",
"name": "Suit",
"symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]
}
]
превратиться в
"type": ["null", "string"]
Привет, Джадуг, пожалуйста, ознакомься с отвечая на вопросы, прежде чем писать следующий! Приятного пребывания в SO :)