Как извлечь имя столбца и тип столбца из SQL в pyspark
Запрос Spark SQL для создания похож на это -
CREATE [TEMPORARY] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name1 col_type1 [COMMENT col_comment1], ...)]
USING datasource
[OPTIONS (key1=val1, key2=val2, ...)]
[PARTITIONED BY (col_name1, col_name2, ...)]
[CLUSTERED BY (col_name3, col_name4, ...) INTO num_buckets BUCKETS]
[LOCATION path]
[COMMENT table_comment]
[TBLPROPERTIES (key1=val1, key2=val2, ...)]
[AS select_statement]
где [x] означает, что x не является обязательным. Я хочу, чтобы вывод был в виде кортежа следующего порядка, если передан запрос CREATE sql -
(db_name, table_name, [(col1 name, col1 type), (col2 name, col2 type), ...])
Итак, есть ли способ сделать это с помощью функций pyspark sql или нужна помощь от регулярного выражения?
Если регулярное выражение, может ли кто-нибудь помочь с регулярным выражением?
Мне нужно имя и тип столбца перед запуском запроса CREATE. Требуется проверить, присутствует ли таблица уже в БД или нет с тем же именем и типом столбца.
Важен ли порядок столбцов?
@thebluephantom да, очень.
Ответы 1
Это можно сделать, обратившись к неофициальному API через java_gateway:
plan = spark_session._jsparkSession.sessionState().sqlParser().parsePlan("CREATE TABLE foobar.test (foo INT, bar STRING) USING json")
print(f"database: {plan.tableDesc().identifier().database().get()}")
print(f"table: {plan.tableDesc().identifier().table()}")
# perhaps there is a better way to convert the schemas, using JSON string hack here
print(f"schema: {StructType.fromJson(json.loads(plan.tableDesc().schema().json()))}")
Выход:
database: foobar
table: test
schema: StructType(List(StructField(foo,IntegerType,true),StructField(bar,StringType,true)))
Обратите внимание, что database().get() завершится ошибкой, если база данных не определена, и параметр Scala должен обрабатываться правильно. Кроме того, если вы используете CREATE TEMPORARY VIEW, методы доступа называются по-другому. Команды можно найти здесь
https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/ddl.scala#L38https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/ddl.scala#L58
Не прямое решение вашей проблемы, но рассмотрели оператор
describe table_nameпосле создания запроса? Тем не менее, в конце концов вам нужно разобрать результат в нужную структуру