Как соединить два слова, если им предшествовали определенные слова в предложениях в фрейме данных

Вы можете использовать re.sub или Series.str.replace с регулярным выражением, чтобы найти любое слово в вашем списке negation_words, за которым следуют пробелы, и заменить его символом подчеркивания.

import re

negation_words = ["no", "not"]

escaped_words = "|".join(re.escape(word) for word in negation_words)
print(repr(escaped_words))
# 'no|not'

regex = fr"({escaped_words})\s+"
print(repr(regex))
# '(no|not)\\s+'

Объяснение регулярного выражения:

(no|not)\s+
(      )      : Capturing group. Whatever is matched inside is available to the replace string as \1 (since this is the first capturing group)
 no|not       : Either of (no, not). If there are more words, then any one of these words
        \s+   : One or more whitespace

Теперь вызовите Series.str.replace с case=False, чтобы выполнить поиск без учета регистра:

df = pd.DataFrame({'tweets': ['this is a tweet', 'this is not a tweet', 'no', 'Another tweet', 'Not another tweet', 'Tweet not']})

df['clean'] = df['tweets'].str.replace(regex, r'\1_', case=False, regex=True)

Который дает:

              tweets              clean
0    this is a tweet    this is a tweet
1        No tweeting        No_tweeting
2                 no                 no
3      Another tweet      Another tweet
4  Not another tweet  Not_another tweet
5          Tweet not          Tweet not

Соединить два слова после появления одного из negation_words немного сложнее:

regex = fr"({escaped_words})\s+(\w+)\s+"
print(repr(regex))
# '(no|not)\\s+(\\w+)\\s+'

Объяснение:

(no|not)\s+(\w+)\s+
(      )            : Capturing group. Whatever is matched inside is available to the replace string as \1 (since this is the first capturing group)
 no|not             : Either of (no, not). If there are more words, then any one of these words
        \s+         : One or more whitespace
           (   )    : Capturing group #2
            \w+     : One or more word characters
                \s+ : One or more whitespace

df = pd.DataFrame({'tweets': ['this is a tweet', 'this is not a tweet', 'no', 'Another tweet', 'Not another tweet', 'Tweet not']})

df['clean'] = df['tweets'].str.replace(regex, r'\1_\2_', case=False, regex=True)

Который дает:

                tweets                clean
0      this is a tweet      this is a tweet
1  this is not a tweet  this is not_a_tweet
2                   no                   no
3        Another tweet        Another tweet
4    Not another tweet    Not_another_tweet
5            Tweet not            Tweet not