Как Spark сравнивает данные типа Boolean и String

SQL:

SELECT 'true' = true;

Я знаю, что результат верен, но я хочу знать, как Spark сравнивает их:

введите true как «true», а затем просто сравните два типа строк;
введите «истина» как истину, а затем сравните два логических типа.

Какой путь использует Spark?

То же самое происходит при сравнении даты и строки или метки времени и строки:

SELECT '2022-01-02' > date('2022-01-03');
SELECT '2022-08-12 01:00:00.123456' < timestamp('2019-08-12 01:00:00.123456');

Я новичок в Спарке. Заранее спасибо!

sql apache-spark casting

14.12.2022 02:53

ReactJs | Supabase | Добавление данных в базу данных

Это и есть ваш редактор таблиц в supabase.👇

Понимание Python и переход к SQL

Перед нами лабораторная работа по BloodOath:

103

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Самый простой способ научиться — попросить Spark объяснить план.

scala> spark.sql("SELECT 'true' = true").explain
== Physical Plan ==
*(1) Project [true AS (CAST(true AS BOOLEAN) = true)#53]
+- *(1) Scan OneRowRelation[]

scala> spark.sql("SELECT '2022-01-02' > date('2022-01-03')").explain
== Physical Plan ==
*(1) Project [false AS (CAST(2022-01-02 AS DATE) > CAST(2022-01-03 AS DATE))#55]
+- *(1) Scan OneRowRelation[]

scala> spark.sql("SELECT '2022-08-12 01:00:00.123456' < timestamp('2019-08-12 01:00:00.123456')").explain
== Physical Plan ==
*(1) Project [false AS (CAST(2022-08-12 01:00:00.123456 AS TIMESTAMP) < CAST(2019-08-12 01:00:00.123456 AS TIMESTAMP))#57]
+- *(1) Scan OneRowRelation[]

Мы можем ясно видеть, что во всех случаях Spark пытается преобразовать строку в другой тип (логическое значение, дата, отметка времени, int, ...).

14.12.2022 20:49

Другие вопросы по теме

Spark: запись в kafka дает ошибку: org.apache.kafka.common.errors.TimeoutException: тема RANDOM_STRING отсутствует в метаданных через 60000 мс

Разделить фрейм данных по длине символов

Есть ли способ сравнить два фрейма данных и сообщить, какой столбец отличается в Pyspark?

Преобразование строки в целое число возвращает значение null в PySpark

Как настроить log4j на spark 3 во время spark-submit.sh

Создайте новые столбцы из значений других столбцов в Scala Spark

Как создать кластер EMR и отправить шаг Spark-Submit с помощью Dagster?

Я хочу ускорить цикл For в python и хочу использовать меньше памяти

Структурированная потоковая передача Pyspark GroupBy и сокращение с условием

Spark SQL PIVOT — не позволяет указывать столбцы в предложении SELECT

Как Spark сравнивает данные типа Boolean и String

Ответы 1

Другие вопросы по теме

Похожие вопросы