Мгновенное увеличение точности при медленном увеличении кубиков (U-Net)

Позвольте мне попытаться ответить на часть вашего вопроса: почему точность увеличивается так мгновенно, в то время как коэффициенты игральных костей растут медленно и медленно? Я думаю, это не проблема/ошибка вашей модели или реализации. Я бы сказал, на самом деле, это вообще не «проблема», а скорее свойство ваших метрик:

• Точность (по пикселям) измеряет правильно назначенное количество пикселей по отношению к общему количеству пикселей. Таким образом, в некотором смысле это мера, которая одинаково оценивает пиксели переднего и заднего плана.
• Значение Dice или IoU фокусируется только на пикселях переднего плана. Обратите внимание, что ваши реализации dice_coefficients() и iou() всегда подсчитывают только пиксели переднего плана, но не общее количество пикселей в вашем изображении.

Теперь предположим, что у вас есть маска сегментации, в которой всего несколько пикселей переднего плана по отношению к размеру изображения; скажем, ваша правильная маска сегментации — [0, 0, 0, 0, 0, 0, 0, 0, 1, 1]. Если бы ваш прогноз сети теперь был бы нулевым ([0, 0, 0, 0, 0, 0, 0, 0, 0, 0]), его точность уже была бы 0,8 (поскольку 80% пикселей были назначены правильно). Однако значения Dice и IoU будут равны нулю, поскольку ни один пиксель переднего плана еще не назначен правильно.

Следующий пример демонстрирует это с помощью еще нескольких итераций (я использовал NumPy для вычислений, но это не должно иметь значения):

import matplotlib.pyplot as plt
import numpy as np

def dice_coefficients(y_true, y_pred, smooth=0):
    intersection = np.sum(y_true * y_pred)
    union = np.sum(y_true) + np.sum(y_pred)
    return (2 * intersection + smooth) / (union + smooth)

def accuracy(y_true, y_pred, threshold=0.5):
    y_pred = y_pred > threshold
    return (y_true == y_pred).sum() / y_pred.size

y_true = np.asarray([0, 0, 0, 0, 0, 0, 0, 0, 1, 1])

# Round 1: Predict everything as ones
y_pred = np.asarray([1, 1, 1, 1, 1, 1, 1, 1, 1, 1])
print("Acc.", a1 := accuracy(y_true, y_pred))
print("Dice", d1 := dice_coefficients(y_true, y_pred))

# Round 2: Predict everything as zeros
y_pred = np.asarray([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
print(a2 := accuracy(y_true, y_pred))
print(d2 := dice_coefficients(y_true, y_pred))

# Round 3: Predict one foreground pixel correctly
y_pred = np.asarray([0, 0, 0, 0, 0, 0, 0, 0, 0, 1])
print(a3 := accuracy(y_true, y_pred))
print(d3 := dice_coefficients(y_true, y_pred))

# Round 4: Predict all foreground pixels correctly
y_pred = np.asarray([0, 0, 0, 0, 0, 0, 0, 0, 1, 1])
print(a4 := accuracy(y_true, y_pred))
print(d4 := dice_coefficients(y_true, y_pred))

plt.plot([1, 2, 3, 4], [a1, a2, a3, a4], label = "Acc.")
plt.plot([1, 2, 3, 4], [d1, d2, d3, d4], label = "Dice")
plt.legend()
plt.show()

Соответствующий сюжет

Итог: постарайтесь понять и почувствовать метрики, которые вы используете. Если они ведут себя не так, как вы ожидаете, иногда это может быть проблемой не вашей реализации, а ваших ожиданий.