У меня есть два фрейма данных:
df = pd.DataFrame([{'A': -4, 'B': -3, 'C': -2, 'D': -1, 'E': 2, 'F': 4, 'G': 8, 'H': 6, 'I': -2}])
df2 выглядит так (просто вырезка, всего ~100 строк).
df2 = pd.DataFrame({'Date': [220412004, 220412004, 220412004, 220412006], 'A': [-0.15584, -0.11446, -0.1349, -0.0458], 'B': [-0.11826, -0.0833, -0.1025, -0.0216], 'C': [-0.0611, -0.0413, -0.0645, -0.0049], 'D': [-0.04461, -0.022693, -0.0410, 0.0051], 'E': [0.0927, 0.0705, 0.0923, 0.0512], 'F': [0.1453, 11117, 0.1325, 0.06205], 'G': [0.30077, 0.2274, 0.2688, 0.1077], 'H': [0.2449, 0.1860, 0.2274, 0.09328], 'I': [-0.0706, -0.0612, -0.0704, -0.02953]})
Date A B C D E F G H I
3 220412004 -0.15584 -0.11826 -0.0611 -0.04461 0.0927 0.1453 0.30077 0.2449 -0.0706
4 220412004 -0.11446 -0.0833 -0.0413 -0.022693 0.0705 0.11117 0.2274 0.1860 -0.0612
5 220412004 -0.1349 -0.1025 -0.0645 -0.0410 0.0923 0.1325 0.2688 0.2274 -0.0704
7 220412006 -0.0458 -0.0216 -0.0049 0.0051 0.0512 0.06205 0.1077 0.09328 -0.02953
Теперь я хочу перебрать df2 и сделать линейную регрессию каждой строки (из df2) по оси y с df в качестве базы (ось x).
Мой подход был:
import numpy as np
import pandas as pd
from sklearn.metrics import r2_score
for index, row in df2.iterrows():
reg = np.polyfit(df, row, 1)
predict = np.poly1d(reg)
trend = np.polyval(reg, df)
std = row.std()
r2 = np.round(r2_score(row.values, predict(df)), 5)
Однако я получаю эту ошибку:
TypeError: can only concatenate str (not "float") to str
Любые идеи? Спасибо заранее
Сначала я хочу сделать линейную регрессию df2.iloc[1] (= ось y) и df (= ось x; df существует только из одной строки). Затем я хочу сделать линейную регрессию df2.iloc[2] (= ось y) и df (= ось x). И так далее.
Мне нужно рассчитать наклон и R ^ 2 для каждой строки df2 с df в качестве оси x
Итак, вы хотите сделать модель LR для каждой колонки?
Нет, я хочу сделать модель LR в каждом ряду. Я сделал пример с excel здесь: imgur.com/a/5zKOekC
Ваш код кажется мне странным. Прежде всего, обратите внимание, что в df2
у вас есть столбец Date
, который, я думаю, может вызвать ошибку для LR. Второй момент, что такое x()
? Где вы это определяете? И последний пункт, можете ли вы указать, в какой строке вашего кода есть ошибка?
@MohammadrezaRiahi хм, может быть, переместить столбец Date
в индекс? О, вы правы с x()
, это была ошибка копирования и вставки. Должно быть (я думаю): std = row.std()
. Ошибка возникает в этой строке: reg = np.polyfit(df, row, 1)
. Редактировать: я установил Date
как индекс, затем я получаю ошибку TypeError: expected 1D vector for x
для той же строки. То же самое произойдет, если я переставлю df2
, df
или оба.
Перемещение столбца Date
в индекс — это нормально. Я запущу ваши коды и вернусь к вам с обновлениями.
@MohammadrezaRiahi, вы смогли воспроизвести и, возможно, решить проблему?
В документации Numpy указано, что функции x
и y
в polyfit
имеют shape (M,)
и shape (M,) or (M, K)
. Вы не соблюдаете это соглашение для x
и 'y'. Его следует использовать как np.polyfit(df.values[0], row.values, 1)
.
Обратите внимание, что дата должна быть передана в индекс.
Спасибо, это имеет смысл. Однако теперь я получаю TypeError: No loop matching the specified signature and casting was found for ufunc lstsq_n
. Любые идеи?
В какой строке вы получаете эту ошибку?
reg = np.polyfit(df.values[0], row.values, 1)
Я не сталкиваюсь с этой ошибкой. Моя версия Numpy 1.22.3.
Я обнаружил проблему: мой dtype каким-то образом был объектом. Я преобразовал его в поплавок. Теперь это работает, за исключением: r2 = np.round(r2_score(row.values, predict(df2)), 5)
Это выдает ошибку ValueError: Found input variables with inconsistent numbers of samples: [9, 1]
Есть идеи? И как я могу сохранить reg
, predict
, trend
, std
и r2
для каждого индекса df2 в df2?
r2_score
требует y_true
и y_pred
. В вашем коде row.values.shape==(9,)
и predict(df2).shape==(9, 4)
. Эта ошибка возникает из-за несоответствия размеров.
Ах я вижу. У вас есть идеи, как это решить?
Я нашел ошибку: df2 должен быть транспонирован: r2 = np.round(r2_score(row.values, предсказание(df2.T)), 5). Как я могу сохранить эти результаты в новые столбцы df2?
Уверены ли вы? У меня возникла ошибка при запуске r2 = np.round(r2_score(row.values, predict(df2.T)), 5)
. Ошибка ValueError: y_true and y_pred have different number of output (1!=4)
.
Для добавления новых элементов в новый столбец фрейма данных вы можете использовать следующую структуру: df2['r2']=[1, 2, 3, 4]
где [1, 2, 3, 4]
должны иметь те же строки с df2.
Спасибо! Но как-то странно, у меня на компе код работает.
Я думаю, что ваш код r2 = np.round(r2_score(row.values, predict(df.T)), 5)
не df2.T
.
Черт, ты прав! :-) Мне нужно отдохнуть от компьютера на час или около того... Сейчас я совершенно не разбираюсь в коде.
Что вы подразумеваете под линейной регрессией каждой строки? Сделать модель линейной регрессии?