У меня есть скрипт Python, который загружает условия поиска из файла JSON и обрабатывает DataFrame Pandas, чтобы добавить новые столбцы, указывающие, присутствуют ли определенные термины в текстовых данных. Однако я хотел бы изменить сценарий, чтобы использовать Polars вместо Pandas и, возможно, удалить зависимость JSON. Вот мой исходный код:
import pandas as pd
import json
class SearchTermLoader:
def __init__(self, json_file):
self.json_file = json_file
def load_terms(self):
with open(self.json_file, 'r') as f:
data = json.load(f)
terms = {}
for phase_name, phase_data in data.items():
terms[phase_name] = (
phase_data.get('words', []),
phase_data.get('exact_phrases', [])
)
return terms
class DataFrameProcessor:
def __init__(self, df: pd.DataFrame, col_name: str) -> None:
self.df = df
self.col_name = col_name
def add_contains_columns(self, search_terms):
columns_to_add = ["type1", "type2"]
for column in columns_to_add:
self.df[column] = self.df[self.col_name].apply(
lambda text: any(
term in text
for term in search_terms.get(column, ([], []))[0] + search_terms.get(column, ([], []))[1]
)
)
return self.df
# Example Usage
data = {'text_column': ['The apple is red', 'I like bananas', 'Cherries are tasty']}
df = pd.DataFrame(data)
term_loader = SearchTermLoader('word_list.json')
search_terms = term_loader.load_terms()
processor = DataFrameProcessor(df, 'text_column')
new_df = processor.add_contains_columns(search_terms)
new_df
Вот пример файла json:
{
"type1": {
"words": ["apple", "tasty"],
"exact_phrases": ["soccer ball"]
},
"type2": {
"words": ["banana"],
"exact_phrases": ["red apple"]
}
}
Я понимаю, что могу использовать функцию .str.contains(), но хочу использовать ее с конкретными словами и точными фразами. Не могли бы вы дать некоторые рекомендации, как начать с этого?






Для сопоставления без регулярных выражений, .str.contains_any(), вероятно, лучший вариант.
Похоже, вы хотите объединить оба списка:
word_list = pl.read_json("word_list.json")
""" for older versions without struct "*" expansion
type1 = pl.concat_list(
pl.col("type1").struct.field("words", "exact_phrases")
)
"""
word_list = word_list.select(
type1 = pl.concat_list(pl.col("type1").struct["*"]),
type2 = pl.concat_list(pl.col("type2").struct["*"])
)
Shape: (1, 2)
┌───────────────────────────────────┬─────────────────────────┐
│ type1 ┆ type2 │
│ --- ┆ --- │
│ list[str] ┆ list[str] │
╞═══════════════════════════════════╪═════════════════════════╡
│ ["apple", "tasty", "soccer ball"] ┆ ["banana", "red apple"] │
└───────────────────────────────────┴─────────────────────────┘
Затем вы можете .concat() поместить их в свою рамку и бежать .contains_any()
new_df = pl.concat([df, word_list], how = "horizontal")
new_df.with_columns(
type1 = pl.col("text_column").str.contains_any(pl.col("type1").flatten()),
type2 = pl.col("text_column").str.contains_any(pl.col("type2").flatten())
)
shape: (3, 3)
┌─────────────────────────────┬───────┬───────┐
│ text_column ┆ type1 ┆ type2 │
│ --- ┆ --- ┆ --- │
│ str ┆ bool ┆ bool │
╞═════════════════════════════╪═══════╪═══════╡
│ The apple is red ┆ true ┆ false │
│ I like bananas ┆ false ┆ true │
│ Cherries are tasty ┆ true ┆ false │
└─────────────────────────────┴───────┴───────┘
Ах хорошо. Это новый синтаксис в самых последних выпусках. Вы можете использовать старый синтаксис, например. type1 = pl.concat_list(pl.col("type1").struct["words"], pl.col("type1").struct["exact_phrases"])
Привет @jqurious Спасибо за ответ! Когда я пытаюсь использовать with_columns в word_list, я получаю следующую ошибку: StructFieldNotFoundError: *