Pyspark - оператор if внутри select

Вы можете добавить условие, которое проверяет dataType из df.schema. Например:

from pyspark.sql.types import StringType

df = spark.createDataFrame(
    [
        (1, '2', '1'),
        (1, '4', '2'),
        (1, '2', '3'),
    ],
    ['col1','col2','col3']
)

df.select([
    max(length(col(schema.name))).alias(f'{schema.name}_max_length') 
    for schema in df.schema 
    if schema.dataType == StringType()
])
    
+---------------+---------------+
|col2_max_length|col3_max_length|
+---------------+---------------+
|              1|              1|
+---------------+---------------+

Вместо использования schema.names вы можете использовать schema.fields, который возвращает список StructField, который вы можете перебирать и получать имя и тип каждого поля.

df.select([max(length(col(field.name))) for field in df.schema.fields if field.dataType.typeName == "string"])

df = df.select([max(length(col(name))) for (name, type) in df.dtypes if type == 'string'])