Как сохранить историю тренировок на каждую эпоху в Керасе?
Я не могу держать свой компьютер работающим весь день, а для этого мне нужно сохранять историю тренировок после каждой эпохи. Например, я обучил свою модель 100 эпох за один день, а на следующий день я хочу обучить ее еще 50 эпохам. Мне нужно сгенерировать графики потерь от эпохи и точности от эпох для всех 150 эпох. Я использую метод fit_generator. Есть ли способ сохранять историю тренировок после каждой эпохи (скорее всего, с помощью Callback)? Я знаю, как сохранить историю тренировок после окончания тренировки. Я использую бэкэнд Tensorflow.
Ответы 3
У вас есть два варианта сохранения истории модели.
- Используйте класс обратного вызова keras МодельCheckPoint
- Создать собственный класс
Вот как создать собственный класс обратного вызова контрольной точки.
class CustomModelCheckPoint(keras.callbacks.Callback):
def __init__(self,**kargs):
super(CustomModelCheckPoint,self).__init__(**kargs)
self.epoch_accuracy = {} # loss at given epoch
self.epoch_loss = {} # accuracy at given epoch
def on_epoch_begin(self,epoch, logs = {}):
# Things done on beginning of epoch.
return
def on_epoch_end(self, epoch, logs = {}):
# things done on end of the epoch
self.epoch_accuracy[epoch] = logs.get("acc")
self.epoch_loss[epoch] = logs.get("loss")
self.model.save_weights("name-of-model-%d.h5" %epoch) # save the model
Теперь, чтобы использовать класс обратного вызова
checkpoint = CustomModelCheckPoint()
model.fit_generator(...,callbacks=[checkpoint])
теперь словарь checkpoint.epoch_accuracy содержит точность на заданную эпоху, а словарь checkpoint.epoch_loss содержит потери за данную эпоху
У меня было аналогичное требование, я пошел на наивный подход.
1. код Python для работы в течение 50 эпох:
Я сохранил историю модели и саму модель, обученную за 50 эпох. .history используется для хранения всей истории обученной модели.
history = model.fit_generator(......) # training the model for 50 epochs
model.save("trainedmodel_50Epoch.h5") # saving the model
with open('trainHistoryOld', 'wb') as handle: # saving the history of the model
dump(history.history, handle)
2.Python-код для загрузки обученной модели и обучения еще на 50 эпох:
from keras.models import load_model
model = load_model('trainedmodel_50Epoch.h5')# loading model trained for 50 Epochs
hstry = model.fit_generator(......) # training the model for another 50 Epochs
model.save("trainedmodel_50Epoch.h5") # saving the model
with open('trainHistoryOld', 'wb') as handle: # saving the history of the model trained for another 50 Epochs
dump(hstry.history, handle)
from pickle import load
import matplotlib.pyplot as plt
with open('trainHistoryOld', 'rb') as handle: # loading old history
oldhstry = load(handle)
oldhstry['loss'].extend(hstry['loss'])
oldhstry['acc'].extend(hstry['acc'])
oldhstry['val_loss'].extend(hstry['val_loss'])
oldhstry['val_acc'].extend(hstry['val_acc'])
# Plotting the Accuracy vs Epoch Graph
plt.plot(oldhstry['acc'])
plt.plot(oldhstry['val_acc'])
plt.title('model accuracy')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
# Plotting the Loss vs Epoch Graphs
plt.plot(oldhstry['loss'])
plt.plot(oldhstry['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
Вы также можете создать собственный класс, как упоминалось в ответе, приведенном ранее.
У Keras есть обратный вызов CSVLogger, который, кажется, делает именно то, что вам нужно; из документация:
Callback that streams epoch results to a CSV file.
У него есть параметр добавления для добавления в файл. Опять же из документации:
append: Boolean. True: append if file exists (useful for continuing training). False: overwrite existing file
from keras.callbacks import CSVLogger
csv_logger = CSVLogger("model_history_log.csv", append=True)
model.fit_generator(...,callbacks=[csv_logger])