Как получить словарь из столбцов в фрейме данных?

Это мой подход к проблеме:

from sklearn.feature_extraction.text import CountVectorizer

df = pd.read_json('train-v1.1.json')

words = []
for idx, row in df.iterrows():
    #title
    words.append(json_normalize(df['data'][idx])['title'].str.replace("_"," ").to_string(index = False))
    #paragraph context
    words.append(json_normalize(df['data'][idx], record_path = 'paragraphs')['context'].to_string(index = False))
    #question
    words.append(json_normalize(df['data'][idx], record_path = ['paragraphs', 'qas'])['question'].to_string(index = False))


vectorizer = CountVectorizer()
count = vectorizer.fit_transform(words)
vectorizer.get_feature_names()

У sklearn есть функция, которая буквально делает то, что вы хотите сделать, получить все отдельные слова для набора данных. Чтобы использовать это, нам нужно поместить все данные в 1 список или серию.

Как мы достигаем создания списка, сначала читаем в файле. Я заметил, что внутри встроено много json-файлов, поэтому далее мы собираемся перебрать все различные json-файлы и извлечь нужные данные, а затем добавить их в список под названием words.

Как мы извлекаем необходимую информацию из следующего:

json_normalize(df['data'][idx], record_path = ['paragraphs', 'qas'])['question'].to_string(index = False)

Мы смотрим на столбец данных нашего df, который содержит отдельные jsons. Мы перемещаемся по json, пока не окажемся в точке, в которой мы хотим быть через record_path. Затем мы берем нужный столбец, преобразуем его все в строки, а затем добавляем новый список к нашему основному списку слов. Мы делаем это для всех разных файлов json.

Если вы хотите выполнить какие-либо другие манипуляции со строками (например, удалить «_» вместо «»), вы можете сделать это в цикле for или со списком основных слов. Я сделал это только для титулов в моем случае.

Наконец, мы собираемся сложить слова. Мы создаем CountVectorizer, называемый векторизатором, подгоняем и трансформируем наш список. Наконец, мы можем исследовать наш CountVectorizer с помощью функции get_feature_names(), чтобы увидеть каждое слово. Обратите внимание, если в тексте есть орфографические ошибки, они тоже будут.

РЕДАКТИРОВАТЬ:

Вы можете использовать приведенный ниже код для поиска слов и посмотреть, где они находятся. Измените значения в проверке на то, что вы хотите.

df = pd.read_json('train-v1.1.json')

vectorizer = CountVectorizer()
checking = ['raisedin']

for idx, row in df.iterrows():
    title = []
    para = []
    quest = []

    getTitle = json_normalize(df['data'][idx])['title'].str.replace("_"," ")
    getPara = json_normalize(df['data'][idx], record_path = 'paragraphs')['context']
    getQuest = json_normalize(df['data'][idx], record_path = ['paragraphs', 'qas'])['question']

    title.append(getTitle.str.replace("_"," ").to_string(index = False))
    para.append(getPara.to_string(index = False))
    quest.append(getQuest.to_string(index = False))

    for word in checking:
        for allwords in [getTitle, getPara, getQuest]:
            count = vectorizer.fit_transform(allwords)
            test = vectorizer.get_feature_names()
            if word in test:
                print(getTitle)
                print(f"{word} is in: " +  allwords.loc[allwords.str.contains(word)])

0    Poultry
Name: title, dtype: object
93    raisedin is in: How long does it take for an broiler raisedin...
Name: question, dtype: object