Как увидеть тип всех столбцов Dataframe

Мои данные находятся в файле csv.

DEST_COUNTRY_NAME   ORIGIN_COUNTRY_NAME count
United States   Romania 15
United States   Croatia 1
United States   Ireland 344
Egypt   United States   15

я прочитал файл

scala> val data = spark.read.csv("./data/flight-data/csv/2015-summary.csv")
[Stage 0:>                                                          (0 + 1) / 1                                                                               data: org.apache.spark.sql.DataFrame = [_c0: string, _c1: string ... 1 more field]

выше показан только тип _c0 и _c1. Как я могу увидеть все столбцы и их типы вместо сообщения 1 more field?

apache-spark

03.02.2019 15:13

Стоит ли изучать PHP в 2026-2027 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

я думаю, что первая строка была интерпретирована как данные..

val data = spark.read.format("csv").option("header","true").load(<your path>)
data.printSchema

03.02.2019 15:27

Другие вопросы по теме

Преобразование Date_format добавляет 1 год к пограничным датам

Использование памяти Spark Streaming Job со временем увеличивается

Искра несоответствие типа scala с zipwithIndex в groupbykey

Промежуточные таблицы широковещательных подсказок Spark SQL

Не видит вывод spark-submit

Производительность кода Spark Scala Настройка памяти overHead Error

Spark (Scala): мошеннический знак «%» из println of dataframe count()

Применение функции ко всем ячейкам в Spark DataFrame

Оболочка Impala или Spark для ETL?

Как использовать DataFrame.withColumn с условием

Как увидеть тип всех столбцов Dataframe

Ответы 1

Другие вопросы по теме

Похожие вопросы