df = df[['column1','column2','column5','column3','column4' ]]
Это приведет к перестановке столбцов
Это работает в pandas, но, к сожалению, не в pyarrow.
В PyArrow вы можете попробовать использовать метод select()
:
import pyarrow as pa
# Define an example pa.Table
n_legs = pa.array([2, 4, 5, 100])
animals = pa.array(["Flamingo", "Horse", "Brittle stars", "Centipede"])
names = ["n_legs", "animals"]
table = pa.table([n_legs, animals], names=names)
# Select columns
table.select([1,0])
Вы получите:
>>> table.select([1,0])
pyarrow.Table
animals: string
n_legs: int64
----
animals: [["Flamingo","Horse","Brittle stars","Centipede"]]
n_legs: [[2,4,5,100]]
по сравнению с оригиналом:
>>> table
pyarrow.Table
n_legs: int64
animals: string
----
n_legs: [[2,4,5,100]]
animals: [["Flamingo","Horse","Brittle stars","Centipede"]]
Вы также можете использовать пользовательскую схему при преобразовании фрейма данных Pandas в таблицу PyArrow:
import pyarrow as pa
import pandas as pd
# Define Pandas dataframe
df = pd.DataFrame({'year': [2020, 2022, 2019, 2021],
'n_legs': [2, 4, 5, 100],
'animals': ["Flamingo", "Horse", "Brittle stars", "Centipede"]})
# Define custom PyArrow schema
my_schema = pa.schema([
pa.field('n_legs', pa.int64()),
pa.field('animals', pa.string()),
pa.field('year', pa.int64())
])
# Read Pandas dataframe as PyArrow table with specified schema
table = pa.table(df, my_schema)
Вы получите:
>>> table.to_pandas()
n_legs animals year
0 2 Flamingo 2020
1 4 Horse 2022
2 5 Brittle stars 2019
3 100 Centipede 2021
>>> df
year n_legs animals
0 2020 2 Flamingo
1 2022 4 Horse
2 2019 5 Brittle stars
3 2021 100 Centipede
В pyarrow вы можете сделать это следующим образом:
columns = ['column1', 'column2']
table.select(columns)
reindex
это еще один вариант ;)