Линейная регрессия двух кадров данных

У меня есть два фрейма данных:

df = pd.DataFrame([{'A': -4, 'B': -3, 'C': -2, 'D': -1, 'E': 2, 'F': 4, 'G': 8, 'H': 6, 'I': -2}])

df2 выглядит так (просто вырезка, всего ~100 строк).

df2 = pd.DataFrame({'Date': [220412004, 220412004, 220412004, 220412006], 'A': [-0.15584, -0.11446, -0.1349, -0.0458], 'B': [-0.11826, -0.0833, -0.1025, -0.0216], 'C': [-0.0611, -0.0413, -0.0645, -0.0049], 'D': [-0.04461, -0.022693, -0.0410, 0.0051], 'E': [0.0927, 0.0705, 0.0923, 0.0512], 'F': [0.1453, 11117, 0.1325, 0.06205], 'G': [0.30077, 0.2274, 0.2688, 0.1077], 'H': [0.2449, 0.1860, 0.2274, 0.09328], 'I': [-0.0706, -0.0612, -0.0704, -0.02953]})

    Date          A           B            C          D          E         F         G           H       I
3   220412004   -0.15584    -0.11826    -0.0611    -0.04461    0.0927   0.1453    0.30077    0.2449   -0.0706
4   220412004   -0.11446    -0.0833     -0.0413    -0.022693   0.0705   0.11117   0.2274     0.1860   -0.0612
5   220412004   -0.1349     -0.1025     -0.0645    -0.0410     0.0923   0.1325    0.2688     0.2274   -0.0704
7   220412006   -0.0458     -0.0216     -0.0049     0.0051     0.0512   0.06205   0.1077     0.09328  -0.02953

Теперь я хочу перебрать df2 и сделать линейную регрессию каждой строки (из df2) по оси y с df в качестве базы (ось x).

Мой подход был:

import numpy as np
import pandas as pd
from sklearn.metrics import r2_score

for index, row in df2.iterrows():
     reg = np.polyfit(df, row, 1)
     predict = np.poly1d(reg) 
     trend = np.polyval(reg, df)
     std = row.std() 
     r2 = np.round(r2_score(row.values, predict(df)), 5) 
 

Однако я получаю эту ошибку:

TypeError: can only concatenate str (not "float") to str

Любые идеи? Спасибо заранее

Что вы подразумеваете под линейной регрессией каждой строки? Сделать модель линейной регрессии?

Zero 05.05.2022 10:14

Сначала я хочу сделать линейную регрессию df2.iloc[1] (= ось y) и df (= ось x; df существует только из одной строки). Затем я хочу сделать линейную регрессию df2.iloc[2] (= ось y) и df (= ось x). И так далее.

MisterY 05.05.2022 10:18

Мне нужно рассчитать наклон и R ^ 2 для каждой строки df2 с df в качестве оси x

MisterY 05.05.2022 10:29

Итак, вы хотите сделать модель LR для каждой колонки?

Zero 05.05.2022 10:31

Нет, я хочу сделать модель LR в каждом ряду. Я сделал пример с excel здесь: imgur.com/a/5zKOekC

MisterY 05.05.2022 11:26

Ваш код кажется мне странным. Прежде всего, обратите внимание, что в df2 у вас есть столбец Date, который, я думаю, может вызвать ошибку для LR. Второй момент, что такое x()? Где вы это определяете? И последний пункт, можете ли вы указать, в какой строке вашего кода есть ошибка?

Mohammadreza Riahi 05.05.2022 12:16

@MohammadrezaRiahi хм, может быть, переместить столбец Date в индекс? О, вы правы с x(), это была ошибка копирования и вставки. Должно быть (я думаю): std = row.std(). Ошибка возникает в этой строке: reg = np.polyfit(df, row, 1). Редактировать: я установил Date как индекс, затем я получаю ошибку TypeError: expected 1D vector for x для той же строки. То же самое произойдет, если я переставлю df2, df или оба.

MisterY 05.05.2022 13:12

Перемещение столбца Date в индекс — это нормально. Я запущу ваши коды и вернусь к вам с обновлениями.

Mohammadreza Riahi 05.05.2022 14:45

@MohammadrezaRiahi, вы смогли воспроизвести и, возможно, решить проблему?

MisterY 06.05.2022 09:01
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
2
9
89
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

В документации Numpy указано, что функции x и y в polyfit имеют shape (M,) и shape (M,) or (M, K). Вы не соблюдаете это соглашение для x и 'y'. Его следует использовать как np.polyfit(df.values[0], row.values, 1).

Обратите внимание, что дата должна быть передана в индекс.

Спасибо, это имеет смысл. Однако теперь я получаю TypeError: No loop matching the specified signature and casting was found for ufunc lstsq_n. Любые идеи?

MisterY 06.05.2022 14:23

В какой строке вы получаете эту ошибку?

Mohammadreza Riahi 06.05.2022 15:44

reg = np.polyfit(df.values[0], row.values, 1)

MisterY 06.05.2022 16:00

Я не сталкиваюсь с этой ошибкой. Моя версия Numpy 1.22.3.

Mohammadreza Riahi 06.05.2022 18:22

Я обнаружил проблему: мой dtype каким-то образом был объектом. Я преобразовал его в поплавок. Теперь это работает, за исключением: r2 = np.round(r2_score(row.values, predict(df2)), 5) Это выдает ошибку ValueError: Found input variables with inconsistent numbers of samples: [9, 1] Есть идеи? И как я могу сохранить reg, predict, trend, std и r2 для каждого индекса df2 в df2?

MisterY 09.05.2022 09:02
r2_score требует y_true и y_pred. В вашем коде row.values.shape==(9,) и predict(df2).shape==(9, 4). Эта ошибка возникает из-за несоответствия размеров.
Mohammadreza Riahi 09.05.2022 09:21

Ах я вижу. У вас есть идеи, как это решить?

MisterY 09.05.2022 09:29

Я нашел ошибку: df2 должен быть транспонирован: r2 = np.round(r2_score(row.values, предсказание(df2.T)), 5). Как я могу сохранить эти результаты в новые столбцы df2?

MisterY 10.05.2022 09:27

Уверены ли вы? У меня возникла ошибка при запуске r2 = np.round(r2_score(row.values, predict(df2.T)), 5). Ошибка ValueError: y_true and y_pred have different number of output (1!=4).

Mohammadreza Riahi 10.05.2022 11:00

Для добавления новых элементов в новый столбец фрейма данных вы можете использовать следующую структуру: df2['r2']=[1, 2, 3, 4] где [1, 2, 3, 4] должны иметь те же строки с df2.

Mohammadreza Riahi 10.05.2022 11:05

Спасибо! Но как-то странно, у меня на компе код работает.

MisterY 10.05.2022 11:10

Я думаю, что ваш код r2 = np.round(r2_score(row.values, predict(df.T)), 5) не df2.T.

Mohammadreza Riahi 10.05.2022 11:12

Черт, ты прав! :-) Мне нужно отдохнуть от компьютера на час или около того... Сейчас я совершенно не разбираюсь в коде.

MisterY 10.05.2022 11:15

Другие вопросы по теме