Как структурировать cnn для тонкой настройки?
Я хочу точно настроить модель, чтобы можно было экспериментировать с различными гиперпараметрами. Например:
- фильтры
- Регуляризация
- Размер сверточного фильтра
- Скорость обучения
- Оптимизаторы
Я решил сделать это в PyTorch и создал базовую модель (см. ниже). Однако я не уверен, как лучше всего настроить мой код для этого. В частности, моя ConvNet и функция поезда. Мне нужно будет делать сравнения, когда я буду использовать графики. Может ли кто-нибудь дать какой-либо совет о том, как лучше всего структурировать мой код/пойти по этому поводу.
class ConvNet(nn.Module):
def __init__(self, num_classes=10):
super().__init__()
self.layer1 = nn.Sequential(
nn.Conv2d(3, 16, kernel_size=3, stride=1),
nn.BatchNorm2d(16),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2)
)
self.layer2 = nn.Sequential(
nn.Conv2d(16, 32, kernel_size=3, stride=1),
nn.BatchNorm2d(32),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2)
)
self.fcl = nn.Sequential(
nn.Flatten(),
nn.Linear(1152, 100)
)
def forward(self, x):
out = self.layer1(x)
out = self.layer2(out)
out = self.fcl(out)
return out
Ответы 1
Если вы ищете простое руководство, PyTorch предлагает руководство, в котором хорошо объясняется компьютерное зрение: https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html.
Этот раздел наиболее актуален для вашего вопроса, поэтому вы можете увидеть, как выполняется тонкая настройка при настройке оптимизатора.
model_ft = models.resnet18(pretrained=True)
num_ftrs = model_ft.fc.in_features
# Here the size of each output sample is set to 2.
# Alternatively, it can be generalized to nn.Linear(num_ftrs, len(class_names)).
model_ft.fc = nn.Linear(num_ftrs, 2)
model_ft = model_ft.to(device)
criterion = nn.CrossEntropyLoss()
# Observe that all parameters are being optimized
optimizer_ft = optim.SGD(model_ft.parameters(), lr=0.001, momentum=0.9)
# Decay LR by a factor of 0.1 every 7 epochs
exp_lr_scheduler = lr_scheduler.StepLR(optimizer_ft, step_size=7, gamma=0.1)
Сначала вы должны полностью обучить свою модель. Тогда вы можете обратиться к этому сообщению: https://discuss.pytorch.org/t/how-to-perform-finetuning-in-pytorch/419/8?u=nullpointer
ignored_params = list(map(id, model.fc.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params,
model.parameters())
optimizer = torch.optim.SGD([
{'params': base_params},
{'params': model.fc.parameters(), 'lr': opt.lr}
], lr=opt.lr*0.1, momentum=0.9)
Если вы хотите изменить веса слоя без изменения весов сети во время тонкой настройки, вы можете сделать что-то вроде следующего:
model = models.vgg16(pretrained=True)
print list(list(model.classifier.children())[1].parameters())
mod = list(model.classifier.children())
mod.pop()
mod.append(torch.nn.Linear(4096, 2))
new_classifier = torch.nn.Sequential(*mod)
print list(list(new_classifier.children())[1].parameters())
model.classifier = new_classifier
Если вы хотите добавить слои или фильтры к текущей модели:
class MyModel(nn.Module):
def __init__(self, pretrained_model):
self.pretrained_model = pretrained_model
self.last_layer = ... # create layer
def forward(self, x):
return self.last_layer(self.pretrained_model(x))
Здравствуйте, если вы нашли это полезным, пожалуйста, подтвердите, что на этот вопрос был дан ответ. Вы можете принять один ответ (опять же, если он вам поможет), нажав на большую серую кнопку с галочкой слева. Если вы хотите, вы можете добавить +10 баллов любому автору хорошего ответа, нажмите на верхний серый треугольник, и баллы будут начислены соответственно.