Как выбрать минимальный набор данных для проверки, который представляет всю дисперсию?
У меня есть набор данных из 2000 изображений размером 256 x 256 x 3 для обучения модели CNN (примерно с 30 миллионами обучаемых параметров) для бинарной классификации по пикселям. Прежде чем тренировать его, я хотел бы разделить его на валидацию и тестовый набор. Теперь я просмотрела все ответы на этот вопрос.
Предложения похожи на сплиты 80-20 или случайные сплиты с тренировкой и наблюдением за производительностью (тип удара и проба). Итак, мой вопрос: есть ли способ/техника выбора минимального набора данных для проверки и тестирования, который представляет всю дисперсию всего набора данных? У меня есть интуиция, что должна быть величина (например, среднее значение), которую можно измерить для каждого изображения, и эту величину можно нанести на график так, чтобы некоторые значения стали выбросами, а некоторые нет, и я могу брать изображения из этих групп, чтобы максимальное представление этот сорт есть.
У меня есть минимальное ограничение набора данных, так как у меня очень мало данных. Можно было бы предложить аугментацию, но тогда я должен пойти на позиционную или основанную на интенсивности аугментацию. Потому что из классных заметок наш учитель сказал нам, что слой максимального пула делает сеть инвариантной к переводам/поворотам. Итак, я предполагаю, что позиционные аугментации не подойдут.
Ответы 1
Пробовал и отказался:
1. Детекторы признаков и дескрипторы. Детекторы не будут хорошим приближением к изображению, а дескрипторы представляют собой длинные векторы. Я отказался от этого, потому что в это время я не знал о желаемом решении. Это можно переосмыслить.
2. Автоэнкодеры — идея заключалась в том, чтобы обучить автоэнкодер, отобразить закодированные значения в трехмерном пространстве (сохранить размеры кодирования равными 3), проверить наличие кластеров и разделить данные из каждого кластера на обучение, тест, оценку. Это не сработало, поскольку потери при обучении не уменьшились сверх точки, учитывая ограниченную память графического процессора Google Colab.
Что кажется работающим:
Методы уменьшения размерности: Идея заключается в том, чтобы сгладить изображение, подогнать его под модель уменьшения и преобразовать изображения в более низкое измерение, чтобы построить и организовать их. Я обнаружил, что t-SNE (методы графа соседей) работают лучше, чем PCA (методы матричной факторизации). Поэтому я выбрал UMap (метод графа соседей).
MWE:
import umap
X=np.load(path+'/X_train.npy') # Your image dataset, shape=(number of images,height,width, channels)
# an image of size h x w x c is actually a flattened array of size h*w*c
X_reshaped=np.zeros((X.shape[0],X.shape[1]*X.shape[2]*X.shape[3]))
for i in range(0,X.shape[0]):
X_reshaped[i,:]=X[i,:,:,:].flatten()
del X
X_reshaped=X_reshaped/255
X_reshaped.shape
reducer=umap.UMAP(n_components=3)
reducer.fit(X=X_reshaped)
embedding=reducer.transform(X_reshaped)
embedding.shape
# Clustering
from sklearn import cluster
kmeans=cluster.KMeans(n_clusters=4,random_state=42).fit(embedding)
import plotly
data = [plotly.graph_objs.Scatter3d(x=embedding[:,0],
y=embedding[:,1],
z=embedding[:,2],
mode='markers',
marker=dict(color=kmeans.labels_)
)
]
plotly.offline.iplot(data)
Результирующий сюжет:
И из этого графика можно наблюдать выбросы, ручное разбиение можно делать из кластеров, хотя каким должен быть размер кластера — это другой вопрос. :)