Как я могу нормализовать dict внутри CSV?
У меня есть файл CSV, который содержит значение dict.
Test.CSV
id,name,contact,Location
1,Julie,"[{""name"":""Jenny Brown"",""relation"":""mother"",""number"":2113131313},{""name"":""Jorge"",""relation"":""brother"",""number"":121313131}]",US
2,Jim,"[{""name"":""Sana"",""relation"":""sister"",""number"":83279131}]",UK
Я хочу нормализовать этот CSV. Ожидаемый результат:
id , name, contact_name,contact_realation,contact_number,location
1,Julie,Jenny Brown,mother,2113131313,US
1,Julie,Jorge,brother,121313131,US
2,Jim,Sana,sister,83279131,UK
Я загрузил данные с помощью CSV-ридера, но не могу нормализовать значение контакта. Как мне это сделать?
csvfile = csv.reader(open(filename, encoding = "utf8"))
До сих пор я пробовал это:
df=pd.read_csv(filename, converters = {'contact':json.loads}, header=0)
contact_df = pd.io.json.json_normalize(df['contact'])
но получаю следующую ошибку:
AttributeError: 'list' object has no attribute 'values'
Привет, я пробовал это, но получаю ошибки: df=pd.read_csv(имя файла, конвертеры = {'contact':json.loads}, header=0) contact_df = pd.io.json.json_normalize(df['contact'] )
Добавьте к вопросу, что вы пытались сделать, а также то, как это не удалось
Ответы 2
Функция pd.io.json.json_normalize используется для работы непосредственно с JSON объектами. Но, похоже, вы хотите работать с pd.Series напрямую. Хороший трюк — сопоставить значение с Series или Dataframe. Затем вы можете использовать concat для создания контактного фрейма данных с множественным индексом. Наконец, вы объединяете его обратно с исходным фреймом данных.
df=pd.read_csv(filename, converters = {'contact':json.loads}, header=0)
df.index.name = 'row_id'
concat_df = df.merge(
pd.concat(df["contact"].apply(pd.DataFrame).tolist(), keys=df.index),
left_index=True, right_index=True
).drop("contact",1)
Выход:
id name_x Location name_y relation number role
row_id
0 0 1 Julie US Jenny Brown mother 2113131313 NaN
1 1 Julie US Jorge NaN 121313131 brother
1 0 2 Jim UK Sana sister 83279131 NaN
Я думаю, что из-за pd.Series(x[0]) сериализуется только первое значение идентификатора 1
нет, apply работает со всеми идентификаторами. Обратите внимание, что в каждой строке есть list, и теперь вас интересует первый элемент в списке для каждой строки?
вывод показывает ``` id name Location name номер отношения 0 1 Julie US Дженни Браун мать 2113131313 1 2 Jim UK Sana сестра 83279131 ``` но в выводе должно быть три строки
ах извините. поэтому вы хотите разделить строки. не понял. я пересмотрю
да, так как у одного человека может быть несколько контактов, таких как отец, мать
Изменил его, чтобы разделить строки. Обратите внимание, что в вашем вводе иногда есть role, а иногда relation.
мой плохой, это должно быть отношение. Большое спасибо. недурно
Если вы хотите сделать это только с модулем csv, вы можете использовать что-то вроде этого:
import csv
from io import StringIO
import json
data = """id,name,contact,location
1,Julie,"[{""name"":""Jenny Brown"",""relation"":""mother"",""number"":2113131313},{""name"":""Jorge"",""relation"":""brother"",""number"":121313131}]",US
2,Jim,"[{""name"":""Sana"",""relation"":""sister"",""number"":83279131}]",UK
3,Alice,,UK"""
reader = csv.DictReader(StringIO(data))
with open("processed.csv", 'w') as f:
writer = csv.DictWriter(f, fieldnames=["id","name","contact_name","contact_relation","contact_number","location"])
writer.writeheader()
for row in reader:
new_row = {k:row[k] for k in row if k != "contact"}
if row["contact"]:
contacts = json.loads(row["contact"])
for contact in contacts:
for key in contact:
new_row["contact_" + key] = contact[key]
writer.writerow(new_row)
else:
writer.writerow(new_row)
Что приводит к:
$cat processed.csv
id,name,contact_name,contact_relation,contact_number,location
1,Julie,Jenny Brown,mother,2113131313,US
1,Julie,Jorge,brother,121313131,US
2,Jim,Sana,sister,83279131,UK
3,Alice,,,,UK
Обновлено: обновлен код для учета записей без контактной информации.
Если для какой-либо записи нет контактной информации, код выдает ошибку.
Верно, @SaNa3819, я не учел такой возможности. Я обновил код, чтобы исправить это.
Разберите блок json для каждой строки, затем соберите новую строку из интересующих атрибутов.