Быстрый способ перебора Arrow.Table с 30 миллионами строк и 25 столбцами в Julia
Я сохранил Python Pandas DataFrame размером (30M x 25) как таблицу Apache Arrow. Затем я читаю эту таблицу в Джулии как:
input_arrow = Arrow.Table("path/to/table.arrow")
Мой вопрос в том, как я могу эффективно перебирать строки input_arrow.
Если я просто сделаю:
for c in input_arrow:
# Do something
тогда я бы перебирал столбцы, но мне нужно перебирать строки.
Еще я попробовал преобразовать Arrow.Table в DataFrames.DataFrame:
df = DataFrames.DataFrame(input_arrow)
for row in eachrow(df)
# do something
Но этот метод очень медленный. Это напоминает мне, как медленно это делается df.iterrows() на Python.
Итак, каков быстрый способ (похожий на df.itertuples()) перебрать Arrow.Table в Julia?
Решение
Как предложил Ласло Хуньяди в принятом решении, преобразование Arrow.Table в Tables.rowtable дает значительное ускорение.
Была проблема с оперативной памятью; Arrow.Table и Tables.rowtable не поместились в мою оперативную память, поэтому мне пришлось читать Arrow.Table по частям следующим образом:
for chunk in Arrow.Stream("/path/to/table.arrow")
row_table = Tables.rowtable(chunk)
# do something with row_table
end
Эта операция зависит от пути, а это означает, что я не могу обрабатывать строки в произвольном порядке. Думаю, можно было бы транспонировать таблицу...
Транспонирование — это то, что делает преобразование в таблицу строк (как следует из ответа). Ищите возможности создания фильтра (массива индексов) из подмножества столбцов, чтобы вы могли преобразовать другие столбцы в таблицу гораздо меньшего размера и обрабатывать ее построчно.
Ответы 1
Используйте Tables.rowtable из Tables.jl, чтобы преобразовать таблицу Arrow в таблицу, ориентированную на строки, чтобы вы могли перебирать ее. Это очень эффективно и должно быть значительно быстрее, чем первое преобразование в DataFrame:
using Arrow, Tables
input_arrow = Arrow.Table("path/to/table.arrow")
row_table = Tables.rowtable(input_arrow)
for row in row_table
# Do something with row
end
Этот подход загрузит всю таблицу в память. Если она слишком велика для размещения в памяти, используйте другой подход, например обработку таблицы частями.
Это сработало, спасибо! Однако мне пришлось читать Arrow.Table по частям с помощью Arrow.Stream. В противном случае он не поместился бы в мою оперативную память.
Что такое
# Do somethingи можно ли его реализовать как алгоритм, который может обрабатывать столбец за столбцом, а не построчно?