Декартовы координаты для обозначения

Использование координат для маркировки? Меня спросили, возможно ли это, и чтобы убедиться в этом самому, я пытаюсь запрограммировать это и узнать больше об этом. Я не знаю, как это называется и где искать, но общая идея такова:

метки преобразуются в N-мерное пространство, а траектории рассчитываются вдоль N-мерного пространства. В зависимости от направления присваивается метка с доверительным интервалом.

Данные

basic_data = [
  {"label":"First-Person RPG", "Tags":["Open-world", "Fantasy", "Adventure", "Single-player", "Exploration", "Dragons", "Crafting", "Magic", "Story-rich", "Moddable"]},
  {"label":"Action RPG", "Tags":["Open-world", "Fantasy", "Story-rich", "Adventure", "Single-player", "Monsters", "Crafting", "Horse-riding", "Magic", "Narrative"]},
  {"label":"Adventure", "Tags":["Difficult", "Dark Fantasy", "Action", "Single-player", "Exploration", "Lore-rich", "Combat", "Permadeath", "Monsters", "Atmospheric"]},
  {"label":"Party Game", "Tags":["Multiplayer", "Social Deduction", "Indie", "Strategy", "Casual", "Space", "Deception", "Survival", "Teams", "Interactive"]}
]

код для первой части ниже

mlb = MultiLabelBinarizer()

for idx, data in enumerate(basic_data):
    basic_data[idx]["tag_str"] = ",".join(data["Tags"])
    

pd_basic_data: pd.DataFrame = pd.DataFrame(basic_data)
tags: List = [str(pd_basic_data.loc[i,'tag_str']).split(',') for i in range(len(pd_basic_data))]

mlb_result = mlb.fit_transform(tags)
df_final: pd.DataFrame = pd.concat([pd_basic_data['label'],pd.DataFrame(mlb_result,columns=list(mlb.classes_))],axis=1)

простой ответ в одно слово, рассказывающий теорию, также подойдет для ответа. Мне просто нужно знать, где искать.

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
2
0
54
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Скорее всего, вы имеете в виду что-то под названием «встраивание» и используете методы уменьшения размерности, такие как PCA. Они часто используются в машинном обучении для таких задач, как классификация и кластеризация.

На вашем месте я бы сначала исследовал встраивание слов: Word2Vec из модели gensim.models — действительно хороший кандидат. По сути, вы преобразуете слова в непрерывное векторное пространство и сохраняете контекстные связи.

Вот пример того, как это сделать:

import pandas as pd
from gensim.models import Word2Vec
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

basic_data = [
    {"label": "First-Person RPG", "Tags": ["Open-world", "Fantasy", "Adventure", "Single-player", "Exploration", "Dragons", "Crafting", "Magic", "Story-rich", "Moddable"]},
    {"label": "Action RPG", "Tags": ["Open-world", "Fantasy", "Story-rich", "Adventure", "Single-player", "Monsters", "Crafting", "Horse-riding", "Magic", "Narrative"]},
    {"label": "Adventure", "Tags": ["Difficult", "Dark Fantasy", "Action", "Single-player", "Exploration", "Lore-rich", "Combat", "Permadeath", "Monsters", "Atmospheric"]},
    {"label": "Party Game", "Tags": ["Multiplayer", "Social Deduction", "Indie", "Strategy", "Casual", "Space", "Deception", "Survival", "Teams", "Interactive"]}
]

sentences = [data["Tags"] for data in basic_data]

model = Word2Vec(sentences, vector_size=50, window=3, min_count=1, sg=1)
tag_embeddings = {tag: model.wv[tag] for tag in model.wv.index_to_key}
tag_vectors = [tag_embeddings[tag] for tag in model.wv.index_to_key]
tag_labels = list(tag_embeddings.keys())

pca = PCA(n_components=2)
pca_result = pca.fit_transform(tag_vectors)

plt.figure(figsize=(12, 8))
plt.scatter(pca_result[:, 0], pca_result[:, 1])

for i, tag in enumerate(tag_labels):
    plt.annotate(tag, (pca_result[i, 0], pca_result[i, 1]))

plt.xlabel('PCA Component 1')
plt.ylabel('PCA Component 2')
plt.title('Tag Embeddings Visualized with PCA')
plt.show()

что дает вам (здесь ваши координаты)

Обратите внимание, что здесь используется PCA. Это имеет смысл, поскольку вам нужно уменьшить размерность и сохранить контекстные связи между словами.

Еще одна альтернатива — FastText, тоже из gensim.models:

import pandas as pd
import numpy as np
from gensim.models import FastText
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

basic_data = [
    {"label": "First-Person RPG", "Tags": ["Open-world", "Fantasy", "Adventure", "Single-player", "Exploration", "Dragons", "Crafting", "Magic", "Story-rich", "Moddable"]},
    {"label": "Action RPG", "Tags": ["Open-world", "Fantasy", "Story-rich", "Adventure", "Single-player", "Monsters", "Crafting", "Horse-riding", "Magic", "Narrative"]},
    {"label": "Adventure", "Tags": ["Difficult", "Dark Fantasy", "Action", "Single-player", "Exploration", "Lore-rich", "Combat", "Permadeath", "Monsters", "Atmospheric"]},
    {"label": "Party Game", "Tags": ["Multiplayer", "Social Deduction", "Indie", "Strategy", "Casual", "Space", "Deception", "Survival", "Teams", "Interactive"]}
]

sentences = [data["Tags"] for data in basic_data]
model = FastText(sentences, vector_size=50, window=3, min_count=1, sg=1, epochs=10)
tag_embeddings = {tag: model.wv[tag] for tag in model.wv.key_to_index}

tag_vectors = np.array([tag_embeddings[tag] for tag in tag_embeddings])
tag_labels = list(tag_embeddings.keys())

pca = PCA(n_components=2)
pca_result = pca.fit_transform(tag_vectors)

plt.figure(figsize=(12, 8))
plt.scatter(pca_result[:, 0], pca_result[:, 1])

for i, tag in enumerate(tag_labels):
    plt.annotate(tag, (pca_result[i, 0], pca_result[i, 1]))

plt.xlabel('PCA Component 1')
plt.ylabel('PCA Component 2')
plt.title('Tag Embeddings Visualized with PCA')
plt.show()

с tag_vector, заданным

array([[ 3.5692262e-03,  1.5384286e-03,  1.7154109e-03, ...,
         5.1359989e-04,  1.0005912e-03, -1.4637399e-03],
       [-3.5827586e-03,  2.6330323e-04,  2.4984824e-04, ...,
         2.1814678e-03, -7.5217336e-06,  2.8979264e-03],
       [-1.4136693e-03, -1.3430609e-03, -1.2442525e-03, ...,
         2.1025788e-03,  3.1783513e-04, -1.0448305e-05],
       ...,
       [-3.3974617e-03,  4.9481675e-04, -2.5317934e-04, ...,
        -1.1619454e-03,  1.1570274e-03, -2.4804280e-03],
       [ 1.7241882e-03,  9.6893904e-04, -2.9550551e-04, ...,
        -1.6130345e-04, -1.8300014e-03, -8.8712422e-04],
       [ 3.8428712e-04, -6.7049061e-04, -2.3678755e-03, ...,
         1.6739646e-03, -2.6099158e-03,  2.2148804e-03]], dtype=float32)

Конечно, существуют и другие методы, и я советую вам поискать ссылки на встраивание слов и понять методы уменьшения размерности, такие как анализ главных компонентов.

Также обратите внимание, что в зависимости от выбранной вами техники вы получите разные результаты. Посмотрите, что на самом деле делают эти методы.

Другие вопросы по теме