Привет, я хочу создать df с одним столбцом из df с несколькими столбцами. См. этот псевдокод:
df=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"
id_column=df.map(row=>row._1)
Как я могу сделать это в искре ??
Вы можете сделать это с помощью выбора
val df : DataFrame=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"
val dfResult: DataFrame = df.select("id")
Если вы не знаете имя столбца и не знаете позицию, вы также можете сделать:
df.select(aux.columns(0))
Нашел!! Я хотел:
having a df like:
| id | text |
| 1 | bla1 |
| 2 | foo |
//real scala/spark code...
just_ids=df.map(row=>row.getAs[Int](0))
На самом деле ваше намерение неясно, поскольку вы делаете это в обоих направлениях.
Создание df не требует .show. Например. вторая строка не приводит к df.