Сжатие данных в фрейме данных pandas путем удаления NaN и смещения значений влево для уменьшения количества столбцов
У меня есть фрейм данных, который выглядит следующим образом:
5.29559 NaN 2.38176 NaN 0.51521 NaN 0.04454 0.00000 None None None None None None None None
0 NaN NaN NaN NaN 0 NaN NaN 0 NaN NaN 0 2 None None None
4.32454 NaN 1.77600 NaN 0.04454 NaN 0.00000 None None None None None None None None None
0 NaN NaN NaN NaN 0 NaN NaN 0 NaN NaN 2 None None None None
Я пытаюсь создать фрейм данных, удалив все значения NaN и пытаясь сделать текущий фрейм данных таким:
5.29559 2.38176 0.51521 0.04454 0.00000
0 0 0 0 2
4.32454 1.77600 0.04454 0.00000
0 0 0 2
Может кто-нибудь помочь? Я попробовал метод dropna(), но это не помогло.
Я сделал все, что мог, чтобы сделать заголовок вашего вопроса более конкретным.
—
16.04.2023 20:26
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
2
2
82
3
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 3
Ответ принят как подходящий
Давайте попробуем стекировать, чтобы исключить нанов, затем сбрасывать индекс для каждого уровня и, наконец, снова разбирать стек:
(df.stack()
.groupby(level=0)
.apply(lambda df: df.reset_index(drop=True))
.unstack())
0 1 2 3 4
0 5.29559 2.38176 0.51521 0.04454 0.0
1 0.00000 0.00000 0.00000 0.00000 2.0
2 4.32454 1.77600 0.04454 0.00000 NaN
3 0.00000 0.00000 0.00000 2.00000 NaN
Объяснение:
Во-первых, стек для удаления NaN
df.stack()
0 0 5.29559
2 2.38176
4 0.51521
6 0.04454
7 0.00000
1 0 0.00000
5 0.00000
8 0.00000
11 0.00000
12 2.00000
2 0 4.32454
2 1.77600
4 0.04454
6 0.00000
3 0 0.00000
5 0.00000
8 0.00000
11 2.00000
dtype: float64
Вы заметите, что внутренний уровень индекса не увеличивается монотонно. давайте исправим это с помощью groupby.apply
_.groupby(level=0).apply(lambda df: df.reset_index(drop=True))
0 0 5.29559
1 2.38176
2 0.51521
3 0.04454
4 0.00000
1 0 0.00000
1 0.00000
2 0.00000
3 0.00000
4 2.00000
2 0 4.32454
1 1.77600
2 0.04454
3 0.00000
3 0 0.00000
1 0.00000
2 0.00000
3 2.00000
dtype: float64
теперь мы распаковываем
_.unstack()
0 1 2 3 4
0 5.29559 2.38176 0.51521 0.04454 0.0
1 0.00000 0.00000 0.00000 0.00000 2.0
2 4.32454 1.77600 0.04454 0.00000 NaN
3 0.00000 0.00000 0.00000 2.00000 NaN
Вы можете использовать пользовательскую функцию для удаления нулевых значений из каждой строки:
>>> df.agg(lambda x: pd.Series([v for v in x if pd.notna(v)]), axis=1)
0 1 2 3 4
0 5.29559 2.38176 0.51521 0.04454 0.0
1 0.00000 0.00000 0.00000 0.00000 2.0
2 4.32454 1.77600 0.04454 0.00000 NaN
3 0.00000 0.00000 0.00000 2.00000 NaN
попробуй это :
df = pd.DataFrame(your_table)
df = df.dropna(axis=1)
df = pd.DataFrame(df.values.reshape(-1, 5), columns=['col1', 'col2', 'col3', 'col4', 'col5'])
Другие вопросы по теме
Биграфы в матричном формате с использованием pca
Как я могу отсортировать фрейм данных по некоторому столбцу?
Как сохранить файл excel с оригинальным форматированием excel в python?
Выполните некоторую операцию, если 2 кадра данных pandas имеют одинаковые записи в python
Df со списками внутри. AttributeError: объект «список» не имеет атрибута «разделить»
Pandas fillna не может успешно заменить значения nan
ValueError: x и y должны иметь одинаковое первое измерение, но иметь формы (3,) и (1,)
Агрегация данных pandas на основе фильтров столбцов
Преобразование файла CSV в словарь Python
Получить оценки ESG от yesg
Похожие вопросы
Настройка докера с помощью python 3.9 + получение поэзии «не содержит никаких элементов»
Как не устанавливать зависимости python для каждого задания в gitlab CI
Биграфы в матричном формате с использованием pca
Как я могу отсортировать фрейм данных по некоторому столбцу?
Код, указывающий, что запрос к данному URL-адресу выполнен успешно
Преобразование многоугольника - держите внутренние вершины внутри
RplidarException: отлично работает на ПК, но несколько ошибок при использовании на Raspberry Pi
Как решить проблему целочисленной оптимизации с помощью Python?
Суффиксный массив, n ^ 2 * log (n) быстрее, чем n * log ^ 2 (n), даже для больших входных данных?
Тип объекта в Python
У метода dropna есть аргументы, которые вы можете найти в его документах либо в Интернете, либо через
help(df.dropna). Вы можете использовать их.