Как исправить столбец с числовыми значениями, который воспринимается как строковое поле из-за пустых строк в фрейме данных Pandas?
У меня есть файл df с некоторыми столбцами, которые должны быть числовыми полями. Однако в этих столбцах существуют пустые строки, что приводит к тому, что их данные неправильно присваиваются как «объект». Как удалить эти пустые строки и преобразовать столбец в правильный тип данных (int/float)?
Предположим, столбец A выглядит следующим образом:
2
1
0
''
NULL
Name: A, dtype: object
Ожидаемый столбец A должен быть
2
1
0
NULL
NULL
Name: A, dtype: int
Я попробовал приведенное ниже, но кажется, что тип данных не изменился, потенциально все числа по-прежнему считаются строками.
print(df[col].dtypes)
df[col].replace(r'^\s*$', np.nan, regex=True, inplace=True)
print(df[col].dtypes)
Выход:
object
object
Я не хочу сначала использовать str.isnumeric() для скрытия типа данных, потому что это повлияет на другие столбцы реальных строк. Есть ли лучший подход?
Да. Цель этого скрипта — устранить проблему в ее источнике, которым является Snowflake. Я использую Python для разработки SQL-запросов, которые можно применять в Snowflake. В Snowflake сложнее обрабатывать большое количество атрибутов итеративным способом.
Если я правильно понимаю, у вас есть база данных с беспорядочными данными, которую вы пытаетесь исправить с помощью Python? Хорошо, тогда ответ e-motta должен соответствовать вашим потребностям.
Да, добавление блока try/кроме поможет.
Ответы 2
Вы можете использовать pandas.to_numeric(…, errors='coerce') для преобразования строк в числовые типы. Если встречается непринужденное значение, результатом будет NaN.
>>> import pandas as pd
>>>
>>> s = pd.Series([2, 1, 0, '', pd.NA], dtype='string')
>>> coerced = pd.to_numeric(s, errors='coerce')
>>> coerced
0 2.0
1 1.0
2 0.0
3 <NA>
4 <NA>
dtype: Float64
>>> pd.DataFrame({'orig': s, 'new': coerced}))
orig new
0 2 2.0
1 1 1.0
2 0 0.0
3 <NA>
4 <NA> <NA>
Спасибо. Но в моем df также есть столбцы с реальными строками. Если я сделаю это с error='coerce', будет ли это просто конвертировать законные строки в NULL? Я не хочу, чтобы это произошло.
Может быть, я могу попробовать использовать «игнорировать» и оставить исходный ввод, если это строка? Тогда строковые числа будут преобразованы в действительные числа, но '' сохранится. Тогда я могу заменить '' как NULL. Изменит ли это dtype всего столбца на числовой тип?
@szheng Зачем вам использовать его для столбцов, содержащих фактические строковые данные? Просто выберите столбцы, которые вы хотите преобразовать (те, которые содержат числовые данные), и примените их только к ним.
@szheng «Приведет ли это к изменению dtype всего столбца на числовой тип?» — Нет, dtype — это атрибут самого столбца, а не его значений, и столбец object может содержать любое значение.
@wjandrea Как узнать, в каком столбце содержатся числовые данные, не просматривая в них фактические данные? Имеется большое количество атрибутов.
@szheng О, тогда у тебя более глубокая проблема. Добавлю комментарий к вопросу.
Я предполагаю, что столбцы с числовыми данными содержат только пустые строки (""или " ") вместе с числами, поскольку вы пытаетесь .replace(r'^\s*$', np.nan...).
В этом случае вы можете вызвать pandas.to_numeric, и он преобразует все числа в числовой тип, а пустые строки — в nan.
Пустые строки не вызовут ошибку, в отличие от других строк.
Чтобы обрабатывать другие столбцы, содержащие другие строки (не числовые), вы можете использовать try...except:
df = pd.DataFrame(
{"number_col": [1, ""], "string_col": ["some string", "other string"]}
)
number_col string_col
0 1 some string
1 other string
for col in df.columns:
try:
df[col] = pd.to_numeric(df[col])
except ValueError:
continue
number_col string_col
0 1.0 some string
1 NaN other string
Спасибо! Я внес некоторые улучшения на основе своего варианта использования. 1. Я добавил еще одно условие количества уникальных значений >= 20, чтобы избежать преобразования категорий, закодированных как числа, в действительные числа. (Они должны оставаться строками.) 2. В качестве исключения я использовал исключение: (ValueError, TypeError) в качестве e: continue.
Возможно, было бы лучше/проще устранить проблему в ее источнике. Как вы загружаете данные? Например, если вы используете
pd.read_csv(), пустые строки должны автоматически конвертироваться в NaN.