Как написать фрейм данных Pandas в HDFS

Я хочу написать фрейм данных Pandas в HDFS, вот так

import numpy as np
import pandas as pd
data = pd.DataFrame(np.arange(4).reshape(2,2),columns=['a','b'])
data.to_csv('/localpath/test.csv')
"""
the outputfile will be :
   a  b
0  0  1
1  2  3

"""

to_csv () будет писать по локальному пути, но как я могу записать фрейм данных panda в hdfs и файл в hdfs так же, как вывод файла в localpath?

Спасибо!

Вы это искали? creativedata.atlassian.net/wiki/plugins/servlet/…

OneCricketeer 09.03.2018 15:34

это то, что я хочу! Спасибо

haochi zhang 09.03.2018 18:27

данное решение работает? Потому что, когда я пытался запустить тот же код, что и в ссылке, я получаю следующую ошибку: Неверный путь к файлу или тип объекта буфера: <class 'hdfs.util.AsyncWriter'>

padmanabhanm 23.04.2019 11:29
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
2
3
4 903
0

Другие вопросы по теме