Pandas DataFrame в многомерный массив NumPy
У меня есть Dataframe, который я хочу преобразовать в многомерный массив, используя один из столбцов в качестве третьего измерения. В качестве примера:
df = pd.DataFrame({
'id': [1, 2, 2, 3, 3, 3],
'date': np.random.randint(1, 6, 6),
'value1': [11, 12, 13, 14, 15, 16],
'value2': [21, 22, 23, 24, 25, 26]
})
Я хотел бы преобразовать его в 3D-массив с такими размерами (id, date, values): 
Проблема в том, что у 'id'ов разное количество вхождений, поэтому я не могу использовать np.reshape().
Для этого упрощенного примера я смог использовать:
ra = np.full((3, 3, 3), np.nan)
for i, value in enumerate(df['id'].unique()):
rows = df.loc[df['id'] == value].shape[0]
ra[i, :rows, :] = df.loc[df['id'] == value, 'date':'value2']
Для получения необходимого результата: 
но исходный DataFrame содержит миллионы строк.
Есть ли векторизованный способ добиться того же результата?
Ответы 1
Подход # 1
Вот один векторизованный подход после сортировки id col с df.sort_values('id', inplace=True), как предложил @Yannis в комментариях -
count_id = df.id.value_counts().sort_index().values
mask = count_id[:,None] > np.arange(count_id.max())
vals = df.loc[:, 'date':'value2'].values
out_shp = mask.shape + (vals.shape[1],)
out = np.full(out_shp, np.nan)
out[mask] = vals
Подход # 2
Другой с factorize, который не требует предварительной сортировки -
x = df.id.factorize()[0]
y = df.groupby(x).cumcount().values
vals = df.loc[:, 'date':'value2'].values
out_shp = (x.max()+1, y.max()+1, vals.shape[1])
out = np.full(out_shp, np.nan)
out[x,y] = vals
@Yannis Спасибо! Обновленное решение с этой заметкой.
Идеально! Ему просто нужен
df.sort_values('id', inplace=True)сверху, чтобы обобщить, когда DataFrame еще не отсортирован по идентификатору. Большое спасибо @divakar!