Pyspark: преобразование юлианской даты в календарную дату
У меня есть столбец pySpark DataFrame с юлианскими датами. Я попытался преобразовать дату в дату календаря.
| количество | julian_date |
|---|---|
| 1 | 17196 |
| 2 | 17199 |
| 3 | 17281 |
Я пробовал с кодом ниже:
spdf = spdf.withColumn('date_new',functions.to_date(functions.from_unixtime("julian_date")))
Однако я получаю вывод как:
| количество | julian_date | date_new |
|---|---|---|
| 1 | 17196 | 1970-01-01 |
| 2 | 17199 | 1970-01-01 |
| 3 | 17281 | 1970-01-01 |
Пожалуйста помоги. заранее спасибо
Формы c голосовым вводом в React с помощью Speechly
Пытались ли вы когда-нибудь заполнить веб-форму в области электронной коммерции, которая требует много кликов и выбора? Вас попросят заполнить дату,...
Стилизация и валидация html-формы без использования JavaScript (только HTML/CSS)
Будучи разработчиком веб-приложений, легко впасть в заблуждение, считая, что приложение без JavaScript не имеет права на жизнь. Нам становится удобно...
Flatpickr: простой модуль календаря для вашего приложения на React
Если вы ищете пакет для быстрой интеграции календаря с выбором даты в ваше приложения, то библиотека Flatpickr отлично справится с этой задачей....
В чем разница между Promise и Observable?
Разберитесь в этом вопросе, и вы значительно повысите уровень своей компетенции.
Что такое cURL в PHP? Встроенные функции и пример GET запроса
Клиент для URL-адресов, cURL, позволяет взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL.
Четыре эффективных способа центрирования блочных элементов в CSS
У каждого из нас бывали случаи, когда нам нужно отцентрировать блочный элемент, но мы не знаем, как это сделать. Даже если мы реализуем какой-то...
0
0
11
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Юлианская дата состоит из двух цифр года и трех цифр дня года.
Например: 17196 — это 196-й день 2017 года, то есть 15 июля 2017 года.
Таким образом, вы можете использовать to_date с использованием формата года (г) и дня года (Д). (ссылка: шаблон даты)
df.withColumn('date_new', functions.to_date(df.julian_date, 'yyDDD'))
# If julian_date is not String type.
# df.julian_date.cast(StringType())
Другие вопросы по теме
Как spark вычисляет количество записей в фрейме данных?
Получить группы с повторяющимися значениями в PySpark
Разобрать многострочный CSV с помощью PySpark, Python или Shell
PySpark — выбор всех строк в каждой группе
Как добавить список данных в схему данных в pyspark?
Как создать столбец списков из столбца в pyspark
Как сделать условное слияние Pandas
Как я могу преобразовать список списков в Dataframe в Pyspark?
Как выполнить SQL-запрос в Pyspark?
Как преобразовать строки в 2-D RDD в int с помощью PySpark
Похожие вопросы
Как spark вычисляет количество записей в фрейме данных?
RDD[(String,Iterable[GenericData.Record])] to Map[(String,RDD[GenericData.Record])]
PySpark — выбор всех строк в каждой группе
Как преобразовать строки в 2-D RDD в int с помощью PySpark
Как запретить SQL Server удалять начальные нули при импорте данных
В чем разница между запуском программы pyspark с кластером и без него?
Pyspark: запись CSV из файла JSON со столбцом структуры
Извлечь значение из столбца ArrayType в Scala и преобразовать его в длинный
Разделить соответствующие значения столбца в pyspark
Несоответствие типов во вложенных функциях
Я пытался решить эту проблему... Я люблю тебя, Эмма... ты лучшая...