У меня следующий csv:
field1;field2;field3;field4;field5;field6;field7;field8;field9;field10;field11;field12;
eu;4523;35353;01/09/1999; 741 ; 386 ; 412 ; 86 ; 1.624 ; 1.038 ; 469 ; 117 ;
и я хочу преобразовать его в avro. Я создал следующую схему avro:
{"namespace": "forecast.avro",
"type": "record",
"name": "forecast",
"fields": [
{"name": "field1", "type": "string"},
{"name": "field2", "type": "string"},
{"name": "field3", "type": "string"},
{"name": "field4", "type": "string"},
{"name": "field5", "type": "string"},
{"name": "field6", "type": "string"},
{"name": "field7", "type": "string"},
{"name": "field8", "type": "string"},
{"name": "field9", "type": "string"},
{"name": "field10", "type": "string"},
{"name": "field11", "type": "string"},
{"name": "field12", "type": "null"}
]
}
и мой код следующий:
import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter
import csv
from collections import namedtuple
FORECAST = "forecast.csv"
fields = ("field1", "field2", "field3", "field4", "field5", "field6", "field7", "field8", "field9", "field10", "field11", "field12")
forecastRecord = namedtuple('forecastRecord', fields)
def read_forecast_data(path):
with open(path, 'rU') as data:
data.readline()
reader = csv.reader(data, delimiter = ";")
for row in map(forecastRecord._make, reader):
print(row)
yield row
if __name__= = "__main__":
for row in read_forecast_data(FORECAST):
print (row)
break
def parse_schema(path = "forecast.avsc"):
with open(path, 'r') as data:
return avro.schema.parse(data.read())
def serialize_records(records, outpath = "forecast.avro"):
schema = parse_schema()
with open(outpath, 'w') as out:
writer = DataFileWriter(out, DatumWriter(), schema)
for record in records:
record = dict((f, getattr(record, f)) for f in record._fields)
writer.append(record)
if __name__ == "__main__":
serialize_records(read_forecast_data(FORECAST))
Когда я запускаю код, я получаю сообщение об ошибке, что данные не являются примером текущей схемы. Я снова и снова проверял свою схему, чтобы найти какие-либо несоответствия, но до сих пор мне не удалось их найти. Кто-нибудь может мне помочь?
Когда я запускаю ваш код в том виде, в каком он написан, я получаю сообщение об ошибке TypeError: Expected 12 arguments, got 13
на for row in map(forecastRecord._make, reader):
, потому что ваш CSV заканчивается на ;
и, следовательно, имеет 13 полей.
Как только я удалю эти завершающие ;
, я могу запустить пример и получить ту же ошибку о несоответствии схемы. Причина в том, что field12
в вашей схеме определен как тип null
, но в данных это тип string
(со значением "117"
).
Если вы измените файл avsc на {"name": "field12", "type": "string"}
, он заработает.