Эффективное хранение данных, которые еще не являются чисто столбчатыми, в формате Arrow

Ранее я задавал вопрос, похожий на этот (в том смысле, что для иллюстрации проблемы используется тот же пример): Эффективное хранение данных, которые еще не совсем столбчатые, в базе данных DuckDB.

Однако DuckDB не является Apache Arrow. В частности, невозможно вставлять данные в таблицу или массив Apache Arrow с помощью SQL-запросов, если только они не делают это косвенно.

Массивы стрелок создаются напрямую так же, как массивы Numpy. . Исходя из того, что я понял из документации, я могу предположить, что, скорее всего, я захочу каким-то образом использовать Тензоры стрелок. Я далеко не уверен, отсюда и этот вопрос.

У меня есть некоторые частично столбчатые данные, подобные этим:

"hello", "2024 JAN", "2024 FEB"
"a", 0, 1

Если бы он был чисто столбчатым, он выглядел бы так:

"hello", "year", "month", "value"
"a", 2024, "JAN", 0
"a", 2024, "FEB", 1

Предположим, что данные представлены в виде массива numpy, например:

import numpy as np

import numpy as np

data = np.array(
    [["hello", "2024 JAN", "2024 FEB"], ["a", "0", "1"]], dtype = "<U"
)

array([['hello', '2024 JAN', '2024 FEB'],
       ['a', '0', '1']], dtype='<U8')

Как я могу эффективно сохранить data в формате Apache Arrow, в чисто столбчатом формате?

Наивным/простым способом было бы грубое преобразование данных в столбчатый формат в Python перед сохранением их в виде массива Apache Arrow.

Здесь я имею в виду конкретно:

import re

data_header = data[0]
data_proper = data[1:]

date_pattern = re.compile(r"(?P<year>[\d]+) (?P<month>JAN|FEB)")
common_labels: list[str] = []
known_years: set[int] = set()
known_months: set[str] = set()
header_to_date: Dict[str, tuple[int, str]] = dict()
for header in data_header:
    if matches := date_pattern.match(header):
        year, month = int(matches["year"]), str(matches["month"])
        known_years.add(year)
        known_months.add(month)
        header_to_date[header] = (year, month)
    else:
        common_labels.append(header)

# hello, year, month, value
new_rows_per_old_row = len(known_years) * len(known_months)
new_headers = ["year", "month", "value"]
purely_columnar = np.empty(
    (
        1 + data_proper.shape[0] * new_rows_per_old_row,
        len(common_labels) + len(new_headers),
    ),
    dtype=np.object_,
)
purely_columnar[0] = common_labels + ["year", "month", "value"]
for rx, row in enumerate(data_proper):
    common_data = []
    ym_data = []
    for header, element in zip(data_header, row):
        if header in common_labels:
            common_data.append(element)
        else:
            year, month = header_to_date[header]
            ym_data.append([year, month, element])

    for yx, year_month_value in enumerate(ym_data):
        purely_columnar[
            1 + rx * new_rows_per_old_row + yx, : len(common_labels)
        ] = common_data
        purely_columnar[
            1 + rx * new_rows_per_old_row + yx, len(common_labels) :
        ] = year_month_value

print(f"{purely_columnar=}")

purely_columnar=
array([[np.str_('hello'), 'year', 'month', 'value'],
       [np.str_('a'), 2024, 'JAN', np.str_('0')],
       [np.str_('a'), 2024, 'FEB', np.str_('1')]], dtype=object)

Теперь достаточно легко создать массив Arrow из этих реорганизованных данных:

import pyarrow as pa

column_types = [pa.string(), pa.int64(), pa.string(), pa.string()]
pa.table(
    [
        pa.array(purely_columnar[1:, cx], type=column_types[cx])
        for cx in range(purely_columnar.shape[1])
    ],
    names=purely_columnar[0],
)

pyarrow.Table
hello: string
year: int64
month: string
value: string
----
hello: [["a","a"]]
year: [[2024,2024]]
month: [["JAN","FEB"]]
value: [["0","1"]]

Но могу ли я еще что-нибудь сделать для хранения данных в чисто столбчатой ​​форме в формате Apache Arrow, кроме первого грубого перевода данных в чисто столбчатый формат?