SHAP: Как интерпретировать ожидаемые значения для force_plot?

Попробуем воспроизвести:

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from shap import TreeExplainer
from shap.maskers import Independent
from scipy.special import expit, logit

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = RandomForestClassifier(max_depth=5, n_estimators=100).fit(X_train, y_train)

Затем ваши ожидаемые значения SHAP:

masker = Independent(data = X_train)
explainer = TreeExplainer(model, data=masker)
ev = explainer.expected_value
ev

array([0.35468973, 0.64531027])

Это то, что ваша модель будет предсказывать в среднем с учетом фонового набора данных (представленного пояснителю выше):

model.predict_proba(masker.data).mean(0)

array([0.35468973, 0.64531027])

Затем, если у вас есть интересующая точка данных:

data_to_explain = X_train[[0]]
model.predict_proba(data_to_explain)  

array([[0.00470234, 0.99529766]])

Вы можете добиться того же самого со значениями SHAP:

sv = explainer.shap_values(data_to_explain)
np.array(sv).sum(2).ravel() 

array([-0.34998739,  0.34998739])

Обратите внимание, они симметричны, потому что то, что увеличивает шансы на класс 1, уменьшает шансы на 0 на ту же величину.

С базовыми значениями и значениями SHAP вероятности (или шансы того, что точка данных окажется в листе 0 или 1):

ev + np.array(sv).sum(2).ravel()

array([0.00470234, 0.99529766])

Обратите внимание, что это то же самое, что и предсказания модели.