Получите другие столбцы после применения уникального/отличного в одном столбце панд кадра данных

Проблема

Я пытаюсь получить выбранные столбцы в фрейме данных, однако столбец, для которого я пытаюсь получить выбранные столбцы, должен быть уникальным.

Сценарий

Таким образом, Dataframe имеет все значения в строках, и, пожалуйста, не пытайтесь связать что-либо с данными. ДФ выглядит примерно так:

И я хочу запустить .unique() в столбце C и получить столбцы D и E вместе с различными/уникальными значениями C.

Судебный процесс

Теперь я добился желаемого результата, но я уверен, что это можно сделать и в очень нескольких строках. Для справки, вот мой код. main_df содержит приведенную выше таблицу.

dependent_variables = ["D", "E"]
Dictionary = pd.DataFrame()

new_book = {}
dependent_variables_index = []

for no, col in enumerate(main_df.columns):
    print(no, col)
    if col in dependent_variables:
        dependent_variables_index.append(no)

for cid in total_categories:
    try:
        new_book[cid] = main_df[main_df["C"] == int(cid)].iloc[0, dependent_variables_index].to_dict()
    except KeyError:
        new_book[cid] = main_df[main_df["C"] == str(cid)].iloc[0, dependent_variables_index].to_dict()

for k, v in new_book.items():
    Dictionary = Dictionary.append(v, ignore_index=True)

Dictionary.index = list(new_book.keys())
Category_Dictionary = Dictionary.reset_index().rename(columns = {"index": "C"})

Ожидаемый результат

Опять же, я мог бы сгенерировать этот вывод, однако я ищу более оптимизированный способ сделать то же самое.