Присоединиться к параметризации в pyspark

Мне нужно параметризованное условие соединения, и столбцы соединения должны получать проходы от CLI (я использую: prompt.in pyspark)

мой код:

x1 = col(argv[1])
x2 = col(argv[2])

df = df1.join(df2, (df1.x1 == df2.x2))

Это мой сценарий:

join.py empid emdid

я получаю эту ошибку

df has no such columns.

Любые идеи о том, как решить эту проблему?

Эта почта объясняет, почему ваш синтаксис неверен.

— 19.04.2019 13:21

pyspark

07.04.2019 10:26

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

198

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Следуйте этому подходу. Он будет работать, даже если ваши кадры данных присоединяются к столбцу с тем же именем.

argv = ['join.py', 'empid', 'empid']

x1 = argv[1]
x2 = argv[2]

df1 = spark.createDataFrame([(1, "A"),(2, "B")], ("empid", "c2"))
df2 = spark.createDataFrame([(1, "A"),(2, "B")], ("empid", "c2"))

df = df1.join(df2, df1[x1] == df2[x2])

df.show()

10.04.2019 18:03

Другие вопросы по теме

Транспонировать строки pyspark в столбцы

PySpark: объединение фреймов данных, где одно значение (из 1-го фрейма данных) находится между двумя другими (из 2-го фрейма данных)

Как запросить базу данных JDBC в AWS Glue, используя предложение WHERE с PySpark?

Ошибка сводки Spark DF: сводка метода ([класс java.lang.String, класс java.lang.String]) не существует

Найти среднее значение массива pyspark<double>

Лучшая практика для двойного каждого столбца в одном и том же DataFrame

Как получить уникальные значения в каждом окне в фрейме данных pyspark

Как вычесть каждую строку в фреймах данных spark из каждой другой строки в pyspark?

Перезапуск задания Spark Structured Streaming потребляет миллионы сообщений Kafka и умирает

Как решить, что «aggregateByKey не является членом org.apache.spark.sql.Dataset» в Spark?

Присоединиться к параметризации в pyspark

Ответы 1

Другие вопросы по теме

Похожие вопросы