Почему pandas.series.str.extract не работает здесь, но работает в другом месте

Почему pandas.series.extract(regex) может печатать правильные значения, но не присваивает значение существующей переменной с помощью индексации или np.where.

import pandas as pd
import numpy as np

df = pd.DataFrame(
    [
        ['1', np.nan, np.nan, '1 Banana St, 69126 Heidelberg'],
        ['2', "Doloros St", 67898, '2 Choco Rd, 69412 Eberbach']], 
    columns=['id', "Street", 'Postcode', 'FullAddress']
)

m = df['Street'].isna()
print(df["FullAddress"].str.extract(r'(.+?),'))                        # prints street
print(df["FullAddress"].str.extract(r'\b(\d{5})\b'))                   # prints postcode
df.loc[m, 'Street'] = df.loc[m, 'FullAddress'].str.extract(r'(.+?),')  # outputs NaN
df.loc[m, 'Postcode'] = df.loc[m, 'FullAddress'].str.extract(r'\b(\d{5})\b')
# trying where method throws error - NotImplementedError: cannot align with a higher dimensional NDFrame
df["Street"] = df["Street"].where(~(df["Street"].isna()), df["FullAddress"].str.extract(r'(.+?),'))

Что я пытаюсь сделать, так это заполнить пустую улицу и почтовый индекс значениями из FullAddress, не нарушая существующие значения улицы и почтового индекса.

Нет проблем ни с индексацией, ни с регулярным выражением, ни даже с извлечением... Я читал документы, искал что-нибудь похожее... Что получает каждый, но я не понимаю!?!?!

python pandas extract

31.03.2023 12:35

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Вы можете использовать .fillna, чтобы заполнить значения NaN в вашем фрейме данных:

df["Street"] = df["Street"].fillna(df["FullAddress"].str.extract(r'(.+?),')[0])
df["Postcode"] = df["Postcode"].fillna(df["FullAddress"].str.extract(r'\b(\d{5})\b')[0])

Это заполнит все ваши нулевые значения результатом extract, сохранив при этом все существующие значения:

  id       Street Postcode                    FullAddress
0  1  1 Banana St    69126  1 Banana St, 69126 Heidelberg
1  2   Doloros St    67898     2 Choco Rd, 69412 Eberbach

31.03.2023 12:42

Ответ принят как подходящий

Вы пропустили expand=False как параметр str.extract:

>>> df.loc[m, 'FullAddress'].str.extract(r'(.+?),')

             0  # <- it's not a Series but a DataFrame with one column
0  1 Banana St

>>> df.loc[m, 'FullAddress'].str.extract(r'(.+?),', expand=False)

0    1 Banana St
Name: FullAddress, dtype: object  # <- now it's a Series

В первой версии Pandas не может выравнивать метки столбцов Street и 0. Во второй версии Серия вписалась в Street Серию, так что:

df.loc[m, 'Street'] = df.loc[m, 'FullAddress'].str.extract(r'(.+?),', expand=False)
df.loc[m, 'Postcode'] = df.loc[m, 'FullAddress'].str.extract(r'\b(\d{5})\b', expand=False)
print(df)

# Output
  id       Street Postcode                    FullAddress
0  1  1 Banana St    69126  1 Banana St, 69126 Heidelberg
1  2   Doloros St  67898.0     2 Choco Rd, 69412 Eberbach

Обновление*: можно использовать extract без expand=False с использованием именованных групп (?P<xxx>...) для выравнивания меток столбцов:

df.loc[m, 'Street'] = df.loc[m, 'FullAddress'].str.extract(r'(?P<Street>.+?),')
df.loc[m, 'Postcode'] = df.loc[m, 'FullAddress'].str.extract(r'\b(?P<Postcode>\d{5})\b')

# OR

pattern = r'(?P<Street>.+?),\s*\b(?P<Postcode>\d{5})\b'
df.loc[m, ['Street', 'Postcode']] = df.loc[m, 'FullAddress'].str.extract(pattern)

У меня было ощущение, что меня смутит этот вопрос. В моих реальных данных есть только 1 запятая и только одно 5-значное значение, поэтому я подумал, что оно будет выровнено как фрейм данных или ряд. Документы на самом деле показывают, почему это не так. Благодарю за разъяснение. Я оставлю глупый вопрос с вашим умным ответом на случай, если кто-то еще не знает разницы между серией и фреймом данных с одним столбцом.

— 31.03.2023 13:16

Нет, не следует. Это хороший вопрос. Текстовые функции не так очевидны: разница между извлечением, извлечением и поиском, поиском...

— 31.03.2023 13:20

31.03.2023 12:48