Я хочу написать фрейм данных Pandas в HDFS, вот так
import numpy as np
import pandas as pd
data = pd.DataFrame(np.arange(4).reshape(2,2),columns=['a','b'])
data.to_csv('/localpath/test.csv')
"""
the outputfile will be :
a b
0 0 1
1 2 3
"""
to_csv () будет писать по локальному пути, но как я могу записать фрейм данных panda в hdfs и файл в hdfs так же, как вывод файла в localpath?
Спасибо!
это то, что я хочу! Спасибо
данное решение работает? Потому что, когда я пытался запустить тот же код, что и в ссылке, я получаю следующую ошибку: Неверный путь к файлу или тип объекта буфера: <class 'hdfs.util.AsyncWriter'>
Вы это искали? creativedata.atlassian.net/wiki/plugins/servlet/…