Как я могу создать новый столбец df, в котором указан индекс группы?

Похоже, вы хотите присвоить индексы каждой «Группе». Вы можете использовать groupby + cumcount:

df['Subject'] = df.groupby('Group').cumcount() + 1

Выход:

   Scores        Group  Subject
0    4.85      malware        1
1    0.61      malware        2
2    2.47      malware        3
3    6.49  other reuse        1
4    6.21  other reuse        2
5    0.52  other reuse        3
6    0.49  other reuse        4
7    1.09  other reuse        5
8    1.71   inoperable        1
9    0.90   inoperable        2