Polars для обработки поисковых запросов в текстовых данных

У меня есть скрипт Python, который загружает условия поиска из файла JSON и обрабатывает DataFrame Pandas, чтобы добавить новые столбцы, указывающие, присутствуют ли определенные термины в текстовых данных. Однако я хотел бы изменить сценарий, чтобы использовать Polars вместо Pandas и, возможно, удалить зависимость JSON. Вот мой исходный код:

import pandas as pd
import json


class SearchTermLoader:
    def __init__(self, json_file):
        self.json_file = json_file

    def load_terms(self):
        with open(self.json_file, 'r') as f:
            data = json.load(f)

        terms = {}
        for phase_name, phase_data in data.items():
            terms[phase_name] = (
                phase_data.get('words', []),
                phase_data.get('exact_phrases', [])
            )
        return terms

class DataFrameProcessor:
    def __init__(self, df: pd.DataFrame, col_name: str) -> None:
        self.df = df
        self.col_name = col_name

    def add_contains_columns(self, search_terms):
        columns_to_add = ["type1", "type2"]
        for column in columns_to_add:
            self.df[column] = self.df[self.col_name].apply(
                lambda text: any(
                    term in text
                    for term in search_terms.get(column, ([], []))[0] + search_terms.get(column, ([], []))[1]
                )
            )
        return self.df

# Example Usage
data = {'text_column': ['The apple is red', 'I like bananas', 'Cherries are tasty']}
df = pd.DataFrame(data)

term_loader = SearchTermLoader('word_list.json')
search_terms = term_loader.load_terms()

processor = DataFrameProcessor(df, 'text_column')
new_df = processor.add_contains_columns(search_terms)

new_df     

Вот пример файла json:

{
    "type1": {
        "words": ["apple", "tasty"],
        "exact_phrases": ["soccer ball"] 
    },
    "type2": {
        "words": ["banana"],
        "exact_phrases": ["red apple"]
    }
}

Я понимаю, что могу использовать функцию .str.contains(), но хочу использовать ее с конкретными словами и точными фразами. Не могли бы вы дать некоторые рекомендации, как начать с этого?

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
2
0
90
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Для сопоставления без регулярных выражений, .str.contains_any(), вероятно, лучший вариант.

Похоже, вы хотите объединить оба списка:

word_list = pl.read_json("word_list.json")

""" for older versions without struct "*" expansion
type1 = pl.concat_list(
   pl.col("type1").struct.field("words", "exact_phrases")
)
"""

word_list = word_list.select(
   type1 = pl.concat_list(pl.col("type1").struct["*"]),
   type2 = pl.concat_list(pl.col("type2").struct["*"])
)
Shape: (1, 2)
┌───────────────────────────────────┬─────────────────────────┐
│ type1                             ┆ type2                   │
│ ---                               ┆ ---                     │
│ list[str]                         ┆ list[str]               │
╞═══════════════════════════════════╪═════════════════════════╡
│ ["apple", "tasty", "soccer ball"] ┆ ["banana", "red apple"] │
└───────────────────────────────────┴─────────────────────────┘

Затем вы можете .concat() поместить их в свою рамку и бежать .contains_any()

new_df = pl.concat([df, word_list], how = "horizontal")

new_df.with_columns(
   type1 = pl.col("text_column").str.contains_any(pl.col("type1").flatten()),
   type2 = pl.col("text_column").str.contains_any(pl.col("type2").flatten())
)
shape: (3, 3)
┌─────────────────────────────┬───────┬───────┐
│ text_column                 ┆ type1 ┆ type2 │
│ ---                         ┆ ---   ┆ ---   │
│ str                         ┆ bool  ┆ bool  │
╞═════════════════════════════╪═══════╪═══════╡
│ The apple is red            ┆ true  ┆ false │
│ I like bananas              ┆ false ┆ true  │
│ Cherries are tasty          ┆ true  ┆ false │
└─────────────────────────────┴───────┴───────┘

Привет @jqurious Спасибо за ответ! Когда я пытаюсь использовать with_columns в word_list, я получаю следующую ошибку: StructFieldNotFoundError: *

Simon 23.05.2024 18:56

Ах хорошо. Это новый синтаксис в самых последних выпусках. Вы можете использовать старый синтаксис, например. type1 = pl.concat_list(pl.col("type1").struct["words"], pl.col("type1").struct["exact_phrases"])

jqurious 23.05.2024 19:04

Другие вопросы по теме