Среднее центрирование до PCA

PCA более или менее по определению является SVD с центрированием данных.

В зависимости от реализации (если вы используете PCA из библиотеки) центрирование применяется автоматически, например. sklearn - потому что, как сказано, он должен быть центрирован по определению.
Таким образом, для sklearn вам не нужен этот этап предварительной обработки, и в целом вы применяете его ко всем своим данным.

PCA без присмотра можно использовать для поиска более значимого и репрезентативного представления для ваших классов впоследствии. Таким образом, вам нужно, чтобы все ваши сэмплы находились в одном и том же функциональном пространстве через один и тот же PCA.

Вкратце: вы выполняете PCA один раз для всех ваших (тренировочных) данных и должны быть сосредоточены на всех ваших (тренировочных) данных. Такие библиотеки, как sklarn, выполняют центрирование автоматически.

PCA — это просто вращение, опционально сопровождаемое проекцией в пространство меньшего измерения. Он находит оси максимальной дисперсии (которые являются главными осями инерции вашего облака точек), а затем поворачивает набор данных, чтобы выровнять эти оси с вашей системой координат. Вы можете решить, сколько таких осей вы хотели бы сохранить, что означает, что за вращением следует проекция на первые k оси наибольшей дисперсии с k размерностью пространства представления, которое вы выбрали.

Имея это в виду, опять же, как и для расчета осей инерции, вы можете решить искать такие оси через центр масс вашего облака (среднее значение) или через любое произвольное начало по выбору. В первом случае вы бы центрировали свои данные по среднему, а во втором вы можете перевести данные в любую произвольную точку, в результате чего будет уменьшена важность самой внутренней формы облака и увеличена важность расстояния между центр масс и произвольная точка. Таким образом, на практике вы почти всегда будете центрировать свои данные.

Вы также можете стандартизировать свои данные (центрировать и разделить на стандартное отклонение, чтобы получить дисперсию 1 по каждой координате) или даже отбелить свои данные.

В любом случае вы захотите применить одни и те же преобразования ко всему набору данных, а не к каждому классу. Если бы вы применяли преобразование класс за классом, любое расстояние, существующее между центрами тяжести каждого из них, было бы уменьшено до 0, и вы, вероятно, наблюдали бы свернутое представление с двумя классами как перекрывающимися. Это может быть интересно, если вы хотите наблюдать внутреннюю форму каждого класса, но тогда вы также должны применять PCA отдельно для каждого класса.

Обратите внимание, что PCA может облегчить вам визуализацию двух классов (без гарантий, если данные действительно n-мерные без многомерного вложения). Но ни при каких обстоятельствах это не облегчило бы различение между ними. Во всяком случае, PCA уменьшит различимость ваших классов, и часто бывает так, что проекция будет смешивать классы (увеличивать неоднозначность), которые в противном случае совершенно различны и, например. сепарабельно с простой гиперповерхностью.

Ближайший восточный сосед поможет вам различить эти два класса. Также попробуйте tsne визуализировать классы данных, используя более высокие измерения.

def pca_classifier(X, y, n_components=2, n_neighbors=1):
    """
    X: numpy array of shape (n_samples, n_features)
    y: numpy array of shape (n_samples, )
    n_components: int, number of components to keep
    n_neighbors: int, number of neighbors to use in the knn classifier
    """
    # 1. PCA
    pca = PCA(n_components=n_components)
    X_pca = pca.fit_transform(X)
    
    # 2. KNN
    knn = KNeighborsClassifier(n_neighbors=n_neighbors)
    knn.fit(X_pca, y)
    
    # 3. plot
    plt.figure(figsize=(8, 6))
    plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap=plt.cm.Set1, edgecolor='k')
    plt.xlabel('PC1')
    plt.ylabel('PC2')
    plt.title('PCA')
    plt.show()
    
    return knn