Изменение запроса с использованием логического плана Spark Catalyst

Можно ли добавить / заменить существующее выражение столбца в DataFrame API / SQL с использованием точки расширения.

Пример: предположим, что мы вводим правило разрешения, которое может проверить проект. узел из плана и при проверке наличия столбца "имя" замените его с верхним (имя), например.

Возможно ли такое при использовании точек расширения. Примеры, которые у меня есть найденные в основном простые, которые не управляют входными выражениями так, как мне нужно.

Пожалуйста, дайте мне знать, возможно ли это.

Почему вы хотите преобразовать имя атрибута проекта в верхний регистр? Можете ли вы рассказать о сценарии использования?

moriarty007 13.09.2018 09:58

@prakharjain - Мой вариант использования - изменить запрос на основе некоторых условий. Изменить клиентскую программу невозможно. Итак, исследуем катализатор прямо сейчас. Верхний регистр - это просто пример. Это могло быть что угодно.

Bhanupal Singh Rathore 13.09.2018 12:09

@BhanupalSinghRathore Пожалуйста, проверьте ответ ниже и убедитесь, что это то, что вы ищете.

moriarty007 13.09.2018 23:04
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
3
850
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Да, это возможно.

Возьмем пример. Предположим, мы хотим написать правило, которое проверяет наличие оператора Project, и если проект предназначен для определенного столбца (скажем, 'column2'), оно умножает его на 2.

import org.apache.spark.sql.catalyst.plans.logical._
import org.apache.spark.sql.catalyst.rules.Rule
import org.apache.spark.sql.catalyst.expressions._
import org.apache.spark.sql.catalyst.plans._
import org.apache.spark.sql.Column
import org.apache.spark.sql.types._

object DoubleColumn2OptimizationRule extends Rule[LogicalPlan] {
    def apply(plan: LogicalPlan): LogicalPlan = plan transform {
        case p: Project =>
          if (p.projectList.filter(_.name == "column2").size >= 1) {
              val newList = p.projectList.map { case x =>
                if (x.name == "column2") {
                  Alias(Multiply(Literal(2, IntegerType), x), "column2_doubled")()
                } else {
                  x
                }
              }
              p.copy(projectList = newList)
          } else {
              p
          }
    }
}

скажем, у нас есть таблица table1, в которой есть два столбца - column1, column2.

Без этого правила -

> spark.sql("select column2 from table1 limit 10").collect()
Array([1], [2], [3], [4], [5], [6], [7], [8], [9], [10])

с этим правилом -

> spark.experimental.extraOptimizations =  Seq(DoubleColumn2OptimizationRule)
> spark.sql("select column2 from table1 limit 10").collect()
Array([2], [4], [6], [8], [10], [12], [14], [16], [18], [20])

Также вы можете вызвать объяснение в DataFrame, чтобы проверить план -

> spark.sql("select column2 from table1 limit 10").explain
== Physical Plan ==
CollectLimit 10
+- *(1) LocalLimit 10
   +- *(1) Project [(2 * column2#213) AS column2_doubled#214]
      +- HiveTableScan [column2#213], HiveTableRelation `default`.`table1`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, [column1#212, column2#213]

Спасибо за подробный ответ. Я работал с UDF для столбцов, а не для буквальных значений. В моем случае проблемой было использование AttributeExpression. Однако я посмотрел на пример и обернул свой код псевдонимом, и он отлично работает.

user3479897 14.09.2018 11:00

Другие вопросы по теме