Удалить комбинацию строк в наборе данных в Python

Может быть, вы можете работать с самими столбцами.

df["Y"] = df["X"]

df.Y = df.Y.str.replace("what is good", "")

Таким образом, вам придется сделать это для каждого элемента в вашем стоп-листе. Но я не знаю, сколько у вас предметов.

Так например

replacement_map = {"what needs improvement": "", "what is good": ""}

for old, new in replacement_map.items():
    df.Y = df.Y.str.replace(old, new)

если вам нужно указать разные переводы или

items_to_replace = ["what needs improvement", "what is good"]

for item_to_replace in items_to_replace:
    df.Y = df.Y.str.replace(item_to_replace, "")

если элемент всегда должен быть удален.

Или вы можете пропустить цикл, если вы выражаете его как регулярное выражение:

items_to_replace = ["what needs improvement", "what is good"]

replace_regex = r"|".join(item for item in items_to_replace)

df.Y = df.Y.str.replace(replace_regex , "")

(Кредиты: @MatBailie и @romanperekhrest)

В вашем случае замена не произойдет, так как условие if item not in stoplist (в item in x.split() if item not in stoplist) проверяет, соответствует ли отдельное слово какой-либо фразе из стоп-листа, что неверно. Вместо этого объедините свои стоп-фразы в шаблон регулярного выражения (для замены), как показано ниже:

df['columnY'] = df.columnX.replace(rf"({'|'.join(f'({i})' for i in stoplist)}): ", "", regex=True)

                                             columnX                columnY
0  what is good: the weather what needs improveme...  the weather the house
1  what is good: everything what needs improvemen...     everything nothing

другой способ без использования регулярного выражения и по-прежнему использовать apply - использовать простую функцию:

def func(s):
    for item in stoplist:
        s = s.replace(item, '')
    return s
df['columnY']=df['columnY'].apply(func)