Импорт XML в DataFrame Python
У меня есть файл XML, который выглядит так:
Я пытаюсь преобразовать его в DF в Python, используя это:
import pandas as pd
import xml.etree.ElementTree as et
def parse_XML(xml_file, df_cols):
"""Parse the input XML file and store the result in a pandas
DataFrame with the given columns.
The first element of df_cols is supposed to be the identifier
variable, which is an attribute of each node element in the
XML data; other features will be parsed from the text content
of each sub-element.
"""
xtree = et.parse(xml_file)
xroot = xtree.getroot()
rows = []
for node in xroot:
res = []
res.append(node.attrib.get(df_cols[0]))
for el in df_cols[1:]:
if node is not None and node.find(el) is not None:
res.append(node.find(el).text)
else:
res.append(None)
rows.append({df_cols[i]: res[i]
for i, _ in enumerate(df_cols)})
out_df = pd.DataFrame(rows, columns=df_cols)
return out_df
Я использую такую функцию:
parse_XML(R'C:\Users\aleks\Desktop\zadania python+sql\import_xml.xml', ['Year', 'Row', 'New', 'Used', 'Total Sales New', 'Total Sales Used'])
Но результат вместо полного импортированного XML-файла:
Как мне заставить его работать, чтобы у меня был полный файл XML, импортированный в DataFrame? Спасибо.
Отвечает ли это на ваш вопрос? Как преобразовать файл XML в красивый фрейм данных pandas?
—
25.03.2021 09:40
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
0
2
304
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Поскольку ваш XML относительно плоский, рассмотрите возможность объединения словарей данных элементов и атрибутов для передачи в pandas.DataFrame конструктор. В частности, словари получаются путем понимания списка/слова тегов и анализа текста row элементов и attrib словаря.
xtree = et.parse(xml_file)
# LIST OF DICTIONARIES
data = [{ **{r.tag:r.text for r in row.findall('*')}, **row.attrib
} for row in xtree.findall('.//row/row')]
out_df = pd.DataFrame(data)
Чтобы продемонстрировать из Подсчет продаж автомобилей MVA в Мичигане OpenData (который напоминает данные изображения OP):
import pandas as pd
import xml.etree.ElementTree as et
from urllib import request
url = "https://opendata.maryland.gov/api/views/un65-7ipd/rows.xml?accessType=DOWNLOAD"
rq = request.urlopen(url)
xtree = et.fromstring(rq.read())
# LIST OF DICTIONARIES
data = [{ **{r.tag:r.text for r in row.findall('*')}, **row.attrib
} for row in xtree.findall('.//row/row')]
out_df = pd.DataFrame(data)
Выход
out_df
# year month new used total_sales_new total_sales_used _id _uuid _position _address
#0 2002 JAN 31106 49927 755015820 386481929 row-a49t-ihm3.rpap 00000000-0000-0000-05D6-978893D301BF 0 https://opendata.maryland.gov/resource/un65-7i...
#1 2002 FEB 27520 50982 664454223 361353242 row-njtn_crc8_qawh 00000000-0000-0000-3211-E4A718B8A756 0 https://opendata.maryland.gov/resource/un65-7i...
#2 2002 MAR 34225 58794 805666244 419385387 row-tn8d-5xax-gcqz 00000000-0000-0000-9FC0-AB50DEE551EE 0 https://opendata.maryland.gov/resource/un65-7i...
#3 2002 APR 36452 59817 846368297 433061150 row-bjnm-jnr7.7rbw 00000000-0000-0000-FE23-E2E416AC13DB 0 https://opendata.maryland.gov/resource/un65-7i...
#4 2002 MAY 37359 60577 855005784 442569410 row-5wkh~fkp3.mzuj 00000000-0000-0000-CBC6-6E4FF3707E07 0 https://opendata.maryland.gov/resource/un65-7i...
#.. ... ... ... ... ... ... ... ... ... ...
#221 2020 JUN 23704 63395 821297823 699671992 row-m9ah.mpqr.7eww 00000000-0000-0000-3599-5C2EEABDA225 0 https://opendata.maryland.gov/resource/un65-7i...
#222 2020 JUL 22748 65652 784818757 608761285 row-79ht-rw2j~j4vy 00000000-0000-0000-4E88-6D5061A28AC5 0 https://opendata.maryland.gov/resource/un65-7i...
#223 2020 AUG 12640 48594 456451505 329492612 row-yh7w-48wu_vpnx 00000000-0000-0000-6ED5-CA4A564695EA 0 https://opendata.maryland.gov/resource/un65-7i...
#224 2020 SEP 11336 42148 395164402 274497385 row-e2ur-7zck~4rdd 00000000-0000-0000-C640-6EE6DAA0F07C 0 https://opendata.maryland.gov/resource/un65-7i...
#225 2020 OCT 13271 43827 477111877 328752668 row-yn9u~un9g_3heh 00000000-0000-0000-4EEE-250E14B81104 0 https://opendata.maryland.gov/resource/un65-7i...
Другие вопросы по теме
Запись XML в java, создающая ненужные новые строки
Невозможно ссылаться на какой-либо идентификатор из макета в Android Studio
Как исправить ошибку синтаксического анализа XML: ссылка на необъявленный префикс пространства имен: «Матрица»
Отредактируйте файл XML на веб-странице и сохраните обратно в файл XML с помощью PHP
Предикат XPath использует только первый узел в наборе узлов для сопоставления
Как добавить дочерние элементы с помощью XSLT?
Как игнорировать тег <sub></sub> из XML-файла? пожалуйста, посмотрите пример
Программное обновление настраиваемых свойств пользовательского представления
FindViewById в пользовательском представлении выдает null
Функции Azure: Java Как принять тип содержимого application/xml, а затем преобразовать его в POJO
Похожие вопросы
Ответ на http-запрос не в формате json
Неточная фаза, возвращенная np.angle
Получить усредненные прогнозируемые значения в Python
Рег: массив в Python openpyxl
Как получить только центральный объект на изображении с помощью OpenCV?
Не удается отправить сообщение в сокет, связанный с socket.bind()
Как вызвать исключение в цикле из потока в python?
Понимание того, что означает синтаксис для {:.2} в python
Как создать коды для перевода свиньи на латынь и izzle, а также код для их применения?
Как всегда импортировать группу модулей в Python
Пожалуйста, разместите образец XML в теле сообщения, а не в виде изображения для минимально воспроизводимого примера. У вас могут быть пространства имен для учета. Кроме того, исправьте отступ определенного вами метода.