Регулярное выражение Python: проблемы с пониманием результатов

У меня есть фрейм данных, который мне нужно записать на диск, но pyspark не позволяет ни одному из этих символов ,;{}()\\n\\t= присутствовать в заголовках при записи в виде файла паркета.

Поэтому я написал простой скрипт, чтобы определить, происходит ли это.

import re
for each_header in all_headers:
  print(re.match(",;{}()\\n\\t= ", each_header))

Но для каждого заголовка было напечатано None. Это неправильно, потому что я знаю, что в заголовках моего файла есть пробелы. Итак, я решил проверить это, выполнив следующие пару строк

a = re.match(",;{}()\\n\\t= ", 'a s')
print(a)
a = re.search(",;{}()\\n\\t= ", 'a s')
print(a)

Это тоже привело к тому, что None был напечатан.

Я не уверен, что я делаю неправильно здесь.

PS: я использую python3.7

Вероятно, вам нужен класс персонажа [,;{}()\\n\\\\t=].

Sweeper 22.05.2019 12:34

Ваше регулярное выражение соответствует всем этим символам вместе. Вы пробовали токен [ и ]([,;{}\(\)\\n\\t=]) ?

Dorian Turba 22.05.2019 12:37

К двум приведенным выше комментариям нам не нужно дважды экранировать такие вещи, как \n в классе символов, достаточно только одной обратной косой черты. И (){} вообще не требуют побега.

Tim Biegeleisen 22.05.2019 12:38
print((a.groups())) Вы можете увидеть слова, которые соответствуют вашему шаблону
shaik moeed 22.05.2019 12:38
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
0
4
50
3
Перейти к ответу Данный вопрос помечен как решенный

Ответы 3

Ответ принят как подходящий

Проблема в том, что {}, а также () являются метасимволами регулярных выражений и имеют особое значение. Возможно, самым простым способом написать свою логику было бы использование шаблона:

[,;{}()\n\t=]

Это говорит о соответствии символам буквальный, которые PySpark не позволяет присутствовать в заголовках.

a = re.match("[,;{}()\n\t=]", 'a s')
print(a)

Если вы хотите удалить эти символы, вы можете попробовать использовать re.sub:

header = '...'
header = re.sub(r'[,;{}()\n\t=]+', '', header)

Если вы хотите проверить, содержит ли текст Любые «запрещенного» символы, вы должны поместить их между [ и ].

Еще один недостаток вашего регулярного выражения заключается в том, что в «обычных» строках (не r-струны) любая обратная косая черта должна быть удвоенный.

Поэтому измените регулярное выражение на:

"[,;{}()\\n\\t= ]"

Или используйте r-строка:

r"[,;{}()\n\t= ]"

Обратите внимание, что я также включил пространство, который вы пропустили.

Еще одно замечание: {} и () имеют особое значение, но за пределами[...]. Между [ и ] они представляют себя, поэтому им не нужно цитата с обратной косой чертой.

Верно. Спасибо. Я отредактировал вопрос, включив в него пробел

Clock Slave 22.05.2019 17:32

Как уже объяснялось, вы можете использовать регулярное выражение для поиска запрещенных символов, я хочу добавить, что вы можете сделать это без использования регулярного выражения следующим образом:

forbidden = ",;{}()\n\t="
def has_forbidden(txt):
    for i in forbidden:
        if i in txt:
            return True
    return False
print(has_forbidden("ok name")) # False
print(has_forbidden("wrong=name")) # True
print(has_forbidden("with\nnewline")) # True

Обратите внимание, что при таком подходе вам не нужно заботиться об экранировании специальных символов регулярных выражений, таких как, например, *.

Другие вопросы по теме