Как разобрать этот вложенный объект JSON?
У меня есть набор данных, который находится в формате данных и выглядит так:
[{'session_id': ['X061RFWB06K9V'],
'unix_timestamp': [1442503708],
'cities': ['New York NY, Newark NJ'],
'user': [[{'user_id': 2024,
'joining_date': '2015-03-22',
'country': 'UK'}]]},
{'session_id': ['5AZ2X2A9BHH5U'],
'unix_timestamp': [1441353991],
'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
'user': [[{'user_id': 2853,
'joining_date': '2015-03-28',
'country': 'DE'}]]},
{'session_id': ['SHTB4IYAX4PX6'],
'unix_timestamp': [1440843490],
'cities': ['San Antonio TX'],
'user': [[{'user_id': 10958,
'joining_date': '2015-03-06',
'country': 'UK'}]]}
Я использую pandas и обрабатываю их, и когда я использую read_json, я получаю следующее:
cities session_id unix_timestamp user
0 [New York NY, Newark NJ] [X061RFWB06K9V] [1442503708] [[{'user_id': 2024, 'joining_date': '2015-03-2...
1 [New York NY, Jersey City NJ, Philadelphia PA] [5AZ2X2A9BHH5U] [1441353991] [[{'user_id': 2853, 'joining_date': '2015-03-2...
2 [San Antonio TX] [SHTB4IYAX4PX6] [1440843490] [[{'user_id': 10958, 'joining_date': '2015-03-...
Как мне обработать эти данные, чтобы они были в лучшем формате? Вот определение данных:
Столбцы:
session_id: идентификатор сеанса.unix_timestamp: временная метка unix времени начала сеансаcities: уникальные города, которые были найдены в течение одного сеанса.user:user_id: идентификатор пользователяjoining_date: когда пользователь создал учетную записьcountry: где находится пользователь
Я пытался использовать json_normalize, но все равно получаю ошибку:
AttributeError: 'int' object has no attribute 'values'
а также различные типы ошибок. Пожалуйста, помогите
это мой первый опыт работы с JSON. Я привык работать с аккуратно отформатированными кадрами данных. Как я могу использовать эти данные и выполнять анализ. Как разобрать столбец «пользователь» и проанализировать его?
Я действительно не понимаю, что вы имеете в виду под деревом и прямоугольной формой. Не могли бы вы указать мне некоторые ресурсы по этому вопросу? буду благодарен
Общий ответ: это зависит от того, для чего вам нужно его использовать. Вам нужно выбрать сопоставление между данными в форме дерева и выводом в форме прямоугольника (угадав, учитывая ваш комментарий к кадрам данных аккуратной формы). В этом случае иерархия имеет только одну глубину, поэтому вы, вероятно, могли бы сделать что-то простое, например, написать короткую функцию, чтобы поместить атрибуты пользователя на тот же уровень, что и остальные. Затем вы должны получить более аккуратный фрейм данных/прямоугольник.
а окк, понял. Спасибо
Итак, json_normalize() — это функция выравнивания панд (превращает древовидные данные в прямоугольники/фреймы данных), так что вы не за горами. Ошибка может быть вызвана тем, что запись unix_timestamp представляет собой список целых чисел, а не словарь или список словарей. См. stackoverflow.com/questions/50012928/…
Ответы 1
Вы можете использовать функцию, которая полностью сглаживает ее, а затем реконструирует ваш фрейм данных:
import re
import pandas as pd
import numpy as np
jsonData = [{'session_id': ['X061RFWB06K9V'],
'unix_timestamp': [1442503708],
'cities': ['New York NY, Newark NJ'],
'user': [[{'user_id': 2024,
'joining_date': '2015-03-22',
'country': 'UK'}]]},
{'session_id': ['5AZ2X2A9BHH5U'],
'unix_timestamp': [1441353991],
'cities': ['New York NY, Jersey City NJ, Philadelphia PA'],
'user': [[{'user_id': 2853,
'joining_date': '2015-03-28',
'country': 'DE'}]]},
{'session_id': ['SHTB4IYAX4PX6'],
'unix_timestamp': [1440843490],
'cities': ['San Antonio TX'],
'user': [[{'user_id': 10958,
'joining_date': '2015-03-06',
'country': 'UK'}]]} ]
def flatten_json(y):
out = {}
def flatten(x, name=''):
if type(x) is dict:
for a in x:
flatten(x[a], name + a + '_')
elif type(x) is list:
i = 0
for a in x:
flatten(a, name + str(i) + '_')
i += 1
else:
out[name[:-1]] = x
flatten(y)
return out
flat = flatten_json(jsonData)
results = pd.DataFrame()
columns_list = list(flat.keys())
for item in columns_list:
row_idx = re.findall(r'(\d+)\_', item )[0]
column = item.replace(row_idx+'_', '',1)
column = column.replace('_0', '')
row_idx = int(row_idx)
value = flat[item]
results.loc[row_idx, column] = value
# If you don't want to expand/split the `cities` column, remove line below
results = results.join(results['cities'].str.split(',', expand=True).add_prefix('cities_').fillna(np.nan))
print (results)
Выход:
print (results.to_string())
session_id unix_timestamp cities user_user_id user_joining_date user_country cities_0 cities_1 cities_2
0 X061RFWB06K9V 1.442504e+09 New York NY, Newark NJ 2024.0 2015-03-22 UK New York NY Newark NJ NaN
1 5AZ2X2A9BHH5U 1.441354e+09 New York NY, Jersey City NJ, Philadelphia PA 2853.0 2015-03-28 DE New York NY Jersey City NJ Philadelphia PA
2 SHTB4IYAX4PX6 1.440843e+09 San Antonio TX 10958.0 2015-03-06 UK San Antonio TX NaN NaN
Я немного смущен. Лучше, чем что? Проблема в том, что вам нужны строки и столбцы, когда вход имеет иерархическую/древовидную форму?