Невозможно создать максимальный столбец с пониманием списка. столбец суммы работает

Я пытаюсь создать максимальный столбец с этим кодом. Столбец суммы работает

сумма:

for col in list_names:
    for month in [3,6,9,12]:
        companies = companies.withColumn(col + 'sum_'+ str(month) + '_months', sum(companies[col + ult_pats2[month_ix - ix]] for ix in range(month)) )

Максимум:

for col in list_names:
    for month in [3,6,9,12]:
        companies = companies.withColumn(col + 'max_'+ str(month) + '_months', max(companies[col + ult_pats2[month_ix - ix]] for ix in range(month)) )

сообщение об ошибке:

"ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions"

не могли бы вы поделиться ожидаемым вводом и выводом, который вы хотите

— 29.05.2019 13:23

Вы сделали import *?

— 29.05.2019 16:20

pyspark

29.05.2019 12:57

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Мне кажется, это похоже на перезапись функции max каким-то другим пакетом. Пытаться:

import pyspark.sql.functions as f

А затем используйте ссылку f.max(...)

Эта опция -f.max()- получает максимальное значение одного столбца, но не работает с несколькими столбцами.

— 21.08.2019 09:06

29.05.2019 19:45

Ответ принят как подходящий

Наконец, это сработало с этим кодом, используя sf.greatest:

import pyspark.sql.functions as sf

for col in list_names:  
    for month  in [3,6,9,12]:
            companies = companies.withColumn('max_'+ col + str(month) + '_months',
                                             sf.greatest( *[sf.col(col + ult_pats2[month_ix - ix]) for ix in range(month)] ) )

21.08.2019 09:12

Другие вопросы по теме

Инструмент Pyspark в инструменте PyCharm

Как сгладить df?

Pyspark применяет функцию к значению столбца, если условие выполнено

Разделить фрейм данных Spark строкового столбца на несколько логических столбцов

Понимание Spark. Объяснение: сбор, глобальный и локальный лимит

Как преобразовать строку «MM/DD/YYY HH:MM:SS AM/PM» в метку времени?

Замените определенную группу в столбце данных pyspark случайным элементом из списка

Код ошибки SnowflakeSQLException: 390100, сообщение: указано неверное имя пользователя или пароль

PySpark (Step/Job) в EMR не может подключиться к каталогу данных AWS Glue, но Zeppelin может

Может ли Spark хранить часть одного раздела RDD в памяти, а часть — на диске?

Невозможно создать максимальный столбец с пониманием списка. столбец суммы работает

Ответы 2

Другие вопросы по теме

Похожие вопросы