Переименование столбцов в фрейме данных dask

Что касается переименования, я обычно меняю имена функций, когда использую dask, возможно, это сработает и для вас:

new_columns = ['key', 'Datetime', 'col1', 'col2', 'col3', 'col4', 'col5']
df = df.rename(columns=dict(zip(df.columns, new_columns)))

Что касается определения количества разделов, документация дает довольно хороший пример использования данных временных рядов для принятия решения о том, как разделить фрейм данных: http://docs.dask.org/en/latest/dataframe-design.html#partitions.

Я не мог заставить эту строку работать (потому что я передавал dictionary в качестве базового словаря Python, что не является правильным вводом)

ddf = dd.DataFrame(dictionary, divisions=[2], meta=pd.DataFrame(dictionary,
                                              index=list(range(2))), name='ddf')

print(ddf.compute())
() # this is the output of ddf.compute(); clearly something is not right

Итак, мне пришлось создать несколько фиктивных данных и использовать их в моем подходе к созданию dask dataframe.

Создание фиктивных данных в словаре

d = {0: [388]*2,
 1: [387]*2,
 2: [386]*2,
 3: [385]*2,
 5: [384]*2,
 '2012-06-13': [389]*2,
 '2012-06-14': [389]*2,}

Создать Dask dataframe из Словарьсумка для посуды

• это означает, что вы должны сначала использовать pandas, чтобы преобразовать словарь в pandas DataFrame, а затем использовать .to_dict(..., orient='records'), чтобы получить последовательность (список строковых словарей), необходимую для создания пакета dask

Итак, вот как я создал нужную последовательность

d = pd.DataFrame(d, index=list(range(2))).to_dict('records')

print(d)
[{0: 388,
  1: 387,
  2: 386,
  3: 385,
  5: 384,
  '2012-06-13': 389,
  '2012-06-14': 389},
 {0: 388,
  1: 387,
  2: 386,
  3: 385,
  5: 384,
  '2012-06-13': 389,
  '2012-06-14': 389}]

Теперь использую список словарей для создания dask bag

dask_bag = db.from_sequence(d, npartitions=2)

print(dask_bag)
dask.bag<from_se..., npartitions=2>

Переделать dask bag в dask dataframe

df = dask_bag.to_dataframe()

Переименовать столбцы в dask dataframe

cols = {0:'Datetime',1:'col1',2:'col2',3:'col3',5:'col5'}
df = df.rename(columns=cols)

print(df)
Dask DataFrame Structure:
              Datetime   col1   col2   col3   col5 2012-06-13 2012-06-14
npartitions=2                                                           
                 int64  int64  int64  int64  int64      int64      int64
                   ...    ...    ...    ...    ...        ...        ...
                   ...    ...    ...    ...    ...        ...        ...
Dask Name: rename, 6 tasks

Вычислить dask dataframe (на этот раз не будет вывода ()!)

print(ddf.compute())
   Datetime  col1  col2  col3  col5  2012-06-13  2012-06-14
0       388   387   386   385   384         389         389
0       388   387   386   385   384         389         389

Примечания:

1. Также из документации .rename: inplace не поддерживается.
2. Я думаю, ваш словарь переименования содержал строки '0', '1' и т. д. Для имен столбцов, которые были целыми числами. Возможно, для ваших данных (как в случае с фиктивными данными здесь) словарь должен быть просто целыми числами 0, 1 и т. д.
3. Согласно dask документы, я использовал этот подход, основанный на переименовании словаря 1-1, и имена столбцов не входит в переименование слов будут оставлены без изменений.
   • это означает, что вам не нужно передавать имена столбцов, которые не нужно переименовывать

Если вы хотите только строчные буквы и удалить пробелы, вы можете сделать:

data = dd.read_csv('*.csv').rename(columns=lambda x: x.lower().replace(' ', '_'))