Как указать тип данных столбца

Как указано в комментариях, это похоже на ошибку в полярах. Однако мне удалось заставить это работать, используя pl.Field в определении pl.Struct dtype и передавая dict вместо NamedTuple.

def event_table(num) -> list[Event]:
    events = []
    for i in range(num):
        # note the usage of a plain dict here
        events.append({"name": "my_name", "description": "my_desc"})
    return events

data = {"events": [0, 1, 2]}
pl.DataFrame(data).select(
    events=pl.col("events").map_elements(
        event_table,
        return_dtype=pl.List(pl.Struct([pl.Field("name", pl.String), pl.Field("description", pl.String)])),
    )
)

shape: (3, 1)
┌───────────────────────────────────┐
│ events                            │
│ ---                               │
│ list[struct[2]]                   │
╞═══════════════════════════════════╡
│ []                                │
│ [{"my_name","my_desc"}]           │
│ [{"my_name","my_desc"}, {"my_nam… │
└───────────────────────────────────┘

Интересно, что в Jupyter последующий запуск следующей ячейки больше не вызывает ошибки.

data = {"events": [0, 1, 2]}
df = pl.DataFrame(data).select(
    events=pl.col("events").map_elements(
        event_table,
        return_dtype=pl.List(pl.Struct({"name": pl.String, "description": pl.String})),
    )
)

Быстрое решение прямо сейчас

Вот реализация map_batches, которая должна быть хотя бы немного быстрее.

def event_table(col: pl.Series) -> pl.Series:
    return pl.Series(
        [
            [
                Event("name", "description")._asdict() #note ._asdict()
                for _ in range(num)
                ]
            for num in col
            ]
        )

Он использует вложенные списки, которые должны быть немного быстрее, чем добавление к списку в явном цикле for, но это оптимизация Python, а не поляры.

pl.DataFrame(data).select(events=pl.col("events").map_batches(event_table))
shape: (3, 1)
┌───────────────────────────────────┐
│ events                            │
│ ---                               │
│ list[struct[2]]                   │
╞═══════════════════════════════════╡
│ []                                │
│ [{"name","description"}]          │
│ [{"name","description"}, {"name"… │
└───────────────────────────────────┘

На самом деле вам просто нужно использовать _asdict(), а не полагаться на поляры, чтобы сделать вывод, каким должен быть NamedTuple.

Среднесрочное и долгосрочное решение

Проблема здесь, а именно в том, что на определенных путях кортежи и списки обрабатываются одинаково, и поскольку NamedTuple является кортежем, поэтому он возвращается в виде списка.

Этот PR заставляет его проверять метод _asdict и начинает рассматривать его как словарь/структуру.

С помощью этого PR вы можете сделать

class Event(NamedTuple):
    name: str
    description: str

def event_table(num: int) -> list[Event]:
    return [Event("name", "desc") for _ in range(num)]

data = {"events": [0, 1, 2]}
pl.DataFrame(data).select(
    events=pl.col("events").map_elements(
        event_table,
        return_dtype=pl.List(
            pl.Struct({"name": pl.String, "description": pl.String})
        ),
    )
)
shape: (3, 1)
┌───────────────────────────────────┐
│ events                            │
│ ---                               │
│ list[struct[2]]                   │
╞═══════════════════════════════════╡
│ []                                │
│ [{"name","desc"}]                 │
│ [{"name","desc"}, {"name","desc"… │
└───────────────────────────────────┘