Pyspark читает текстовый файл в одном фрейме данных столбца

У меня есть текстовый файл, который я хотел бы прочитать в фрейм данных. Я предпочитаю зачитывать это в одну колонку. Это работало, пока я не наткнулся на файл с ^ в нем.

raw = spark.read.option("delimiter", "^").csv(data_dir + pair[0])

Но, увы, день, уже следующий, нарушил эту закономерность. Варианта для delimiter None не вижу. Есть ли эффективный способ сделать это?

0
0
732
1

Ответы 1

Вы смотрели на использование spark.read.textFile вместо этого? Он может делать то, что вы хотите.

'DataFrameReader' object has no attribute 'textFile'
Brian Dolan 13.09.2018 21:30
spark в этом случае будет контекстом Spark
Ben 13.09.2018 21:34

Попробуйте spark.createDataFrame(sc.textfile("path/to/file")) @BrianDolan

pault 13.09.2018 22:21

Другие вопросы по теме