Напишите текстовый ответ в формате CSV на запрос Python в PySpark Dataframe
Я работаю в записной книжке Microsoft Fabric, в которой используется PySpark. Ответ API имеет заголовок «Content-Type» = «text/csv». Судя по тому, что я вижу, response.text похож на '"ColA","ColB","ColC"\r"Row1A","Row1B","Row1C", ...'. Другими словами, исходя из того, как он отформатирован, я могу скопировать необработанный вывод Postman, вставить его в Блокнот, сохранить как .csv, и он будет выглядеть нормально, если открыть его в Excel.
Размер response.text составляет около 45 МБ и 16–17 тысяч строк. Я хотел бы поместить данные в DataFrame (чтобы я мог использовать DF для перезаписи таблицы Fabric Lakehouse).
Я попробовал df = spark.read.csv(responseText, header=False, schema=mySchema). Данные и моя схема имеют 64 поля. Это заняло более 15 минут, прежде чем я отменил пробежку, так как не был уверен, что сделал что-то не так. Я планирую попробовать еще раз с header=True и inferSchema=True завтра, но, во-первых, нужно ли мне выполнить предварительную обработку response.text перед использованием spark.read.csv() на нем? Это должно занять так много времени? Есть ли более эффективный способ преобразовать его в DataFrame? (Пример: могу ли я сохранить ответ в виде файла .csv в блокноте, а затем read.csv() оттуда?)
(Для знатоков Fabric, возможно ли сохранить текст в виде файла .csv, загрузить его в раздел «Файлы» Lakehouse и превратить его там в таблицу? Таким образом, я могу сделать это программно, запустив блокнот?)
Спасибо!
Ответы 1
spark.read.csv ожидает имя файла, а не его содержимое.
Поэтому сначала запишите данные в файл Lakehouse, например:
text= """
"ColA","ColB","ColC"
"Row1A","Row1B","Row1C"
"Row2A","Row2B","Row2C"
"""
with open('/lakehouse/default/Files/foo.csv', 'w') as f:
f.write(text)
df = spark.read.csv("Files/foo.csv",header=True);
display(df)