Keras: EarlyStopping использует потерю проверки необученной сети вместо Inf

В Керасе, согласно этому документу, она:

https://keras.io/api/callbacks/early_stopping/

Вы действительно можете указать параметр start_from_epoch=0 (по умолчанию он равен 0). Чтобы избежать -inf, возможно, вы могли бы начать через несколько эпох (например, 2); в противном случае вам придется реализовать свой собственный обратный вызов для достижения желаемого.

Вот полный пример, протестированный с последней версией keras==3.4.1

from keras.callbacks import Callback
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Flatten
from keras.utils import to_categorical

# Custom EarlyStoppingCallback class definition
class CustomEarlyStoppingCallback(Callback):
    def __init__(self, patience=0, min_delta=0, initial_best=float('inf')):
        super(CustomEarlyStoppingCallback, self).__init__()
        self.patience = patience
        self.min_delta = min_delta
        self.best_weights = None
        self.wait = 0
        self.stopped_epoch = 0
        self.best = initial_best

    def on_train_begin(self, logs=None):
        self.wait = 0
        self.stopped_epoch = 0
        # self.best = self.best (already set during initialization)
        self.best_weights = None

    def on_epoch_end(self, epoch, logs=None):
        current_loss = logs.get("val_loss")
        if current_loss is None:
            return
        
        if current_loss < self.best - self.min_delta:
            self.best = current_loss
            self.wait = 0
            self.best_weights = self.model.get_weights()
        else:
            self.wait += 1
            if self.wait >= self.patience:
                self.stopped_epoch = epoch
                self.model.stop_training = True
                self.model.set_weights(self.best_weights)

    def on_train_end(self, logs=None):
        if self.stopped_epoch > 0:
            print(f'Restoring model weights from the end of the best epoch: {self.stopped_epoch - self.patience + 1}')

# Load and prepare the MNIST dataset
(x_train, y_train), (x_val, y_val) = mnist.load_data()

# Normalize the data
x_train = x_train.astype('float32') / 255.0
x_val = x_val.astype('float32') / 255.0

# One-hot encode the labels
y_train = to_categorical(y_train, 10)
y_val = to_categorical(y_val, 10)

# Create a simple model
model = Sequential([
    Flatten(input_shape=(28, 28)),
    Dense(64, activation='relu'),
    Dense(64, activation='relu'),
    Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
custom_early_stopping = CustomEarlyStoppingCallback(patience=3, min_delta=0.001, initial_best=2.64)
history = model.fit(x_train, y_train, epochs=100, validation_data=(x_val, y_val), callbacks=[custom_early_stopping])

Вы можете вручную оценить модель перед началом обучения и установить ее в качестве базовой линии для ранней остановки. Вот как вы можете настроить свой код:

1. Оцените необученную модель в наборе проверки, чтобы получить первоначальные потери при проверке.
2. Измените обратный вызов EarlyStopping, чтобы использовать эту первоначальную потерю при проверке в качестве базовой линии.

Пример:

initial_val_loss = model.evaluate(Val_Data, Val_Label, verbose=0)

class CustomEarlyStopping(EarlyStopping):
    def __init__(self, initial_val_loss, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.initial_val_loss = initial_val_loss
        self.best = initial_val_loss

Надеюсь, это поможет.