Улучшить производительность фреймов данных для больших наборов данных

У меня есть большие наборы данных, которые необходимо отфильтровать корневые пакеты, как показано ниже:

1. сортировать данные (столбец пакета) по длине строки.
2. начните с начала, просканируйте следующие данные, если они начинаются с текущих данных, то отметьте их как ложные.
3. повторите шаг 2 до конца.

Чтобы повысить производительность, я добавляю столбец flag, чтобы отслеживать, обработано оно или нет.

Звучит так, будто теперь большое О — это n, а не n квадрат. что-нибудь мы можем улучшить?

Очевидным является второй цикл for, теперь используйте продолжение пропуска предыдущих элементов, может быть, это лучше сделать?

import re
import pandas as pd
import tabulate

def dumpdf(df):
    if len(df) == 0: return
    df = df.reset_index(drop=True)
    tab = tabulate.tabulate(df, headers='keys', tablefmt='psql',showindex=True)
    print(tab)
    return

def main():
    data = [
        ['A','com.example'],
        ['A','com.example.a'],
        ['A','com.example.b.c'],
        ['A','com.fun'],
        ['B','com.demo'],
        ['B','com.demo.b.c'],
        ['B','com.fun'],
        ['B','com.fun.e'],
        ['B','com.fun.f.g']
        ]
    df = pd.DataFrame(data,columns=['name','package'])
    df ['flag'] = None
    df = df.sort_values(by = "package", key=lambda x: x.str.len()).reset_index(drop=True)
    for idx,row in df.iterrows():
        if row['flag'] == None:
            df.loc[idx,'flag'] = True
            for jdx, jrow in df.iterrows():
                if jdx <= idx: continue
                if row['name'] == jrow['name']:
                    if jrow['package'].startswith(row['package']):
                         df.loc[jdx,'flag'] = False

    #
    df = df[df['flag']]
    df = df.groupby('name',as_index=False).agg({'package':'\n'.join})
    dumpdf(df)
    return

main()