Ошибка Pyarrow: пытался прочитать X байтов, начиная с позиции X из файла, но получил только X

Я читаю (используя polars/pyarrow) каталог, полный паркетов из хранилища BLOB-объектов Azure, который составляет 60 ГБ на вычислительном экземпляре Standard_E8_v3 (8 ядер, 64 ГБ ОЗУ, 200 ГБ на диске).

После того, как я прочитал данные, я хочу сгруппировать данные и собрать результат, однако при сборе результата я получаю эту ошибку

Я не совсем понимаю, что он мне говорит -

Говорит ли это, что он не может обработать мои данные, потому что они слишком велики для моей машины?

Ошибка в коде?

Есть ли ошибка с данными, которые мне нужно обработать?

Если бы кто-нибудь мог осветить проблему, которая была бы очень признательна - важно, чтобы любое решение было основано на Polars :)

Код ниже:

import pyarrow.dataset as ds
from azureml.fsspec import AzureMachineLearningFileSystem
import polars as pl
from azureml.core import Workspace

ws = Workspace.from_config()

# Azure Machine Learning workspace details:
subscription = ws.subscription_id
resource_group = ws.resource_group
workspace = ws.name
datastore_name = 'datastore_name'
path_on_datastore = 'path_to_data'

# long-form Datastore uri format:
uri = f'azureml://subscriptions/{subscription}/resourcegroups/{resource_group}/workspaces/{workspace}/datastores/{datastore_name}'

aml_fs = AzureMachineLearningFileSystem(uri)
files = aml_fs.glob()

myds=ds.dataset(path_on_datastore, filesystem=aml_fs, format = "parquet")
df = (
    pl.scan_pyarrow_dataset(myds)
    .select([
        'COLUMN_LIST'
    ])
    #.with_columns(pl.col('turnovervalue').cast(pl.Float64, strict=False))
    .filter((pl.col('col1')>0)&(pl.col('col2') >= 2022))
)

grouped = (df.lazy()
    .groupby(['colA','colB'])
    .agg(
        [
            pl.n_unique('colC').alias('Blah'),
            pl.sum('colD').alias("BlahBlah"),
            pl.n_unique('colE').alias('BlahBlahBlah'),
            (pl.col('colF') == "C").count().alias('BlahBlahBlahBlah')
        ]
    )
).collect()

Обновлено:

Проверил схему моего фрейма данных Polars, и он выводит разумный результат, поэтому я предполагаю, что мое подключение к Azure правильное, поэтому я подумал, что пойду вверх по течению и проверю, работает ли то, что Polars читает из Pyarrow, но похоже, что это проблема Pyarrow, а чем у Поларса. Фрагмент ниже от меня, я просто проверяю заголовок набора данных Pyarrow, который я получил от Azure.

Я бы предположил, что тип данных, который он вывел, не является типом данных, который он получает при чтении, однако я не уверен, что такое данные в позиции 4 (во всей таблице), и я не уверен, как я иду разобраться???

Собираюсь изменить некоторые теги и заголовок, чтобы, надеюсь, связать новую проблему с нужными людьми, которые могут помочь.