Условия для элементов numpy массивов с разными размерами
У меня есть следующий случай в псевдо-коде Python, и мне нужно найти векторизованное решение для него в целях оптимизации, поскольку я имею дело с сотнями тысяч записей для анализа речи, а вложенные циклы for нежизнеспособны. Мне интересно, как я могу векторизовать условные проверки для массивов разных размеров ... Я знаю, например, о np.greater, но это поэлементная операция, которая не работает с массивами разных размеров.
words = [
{'id': 0, 'word': 'Stu', 'sampleStart': 882, 'sampleEnd': 40571},
{'id': 0, 'word': ' ', 'sampleStart': 40570, 'sampleEnd': 44540},
{'id': 0, 'word': 'eyes', 'sampleStart': 44541, 'sampleEnd': 66590},
]
phonemes = [
{'id': 0, 'phoneme': ' ', 'sampleStart': 0, 'sampleEnd': 881},
{'id': 1, 'phoneme': 's', 'sampleStart': 882, 'sampleEnd': 7937},
{'id': 2, 'phoneme': 't', 'sampleStart': 7938, 'sampleEnd': 11906},
{'id': 3, 'phoneme': 'u', 'sampleStart': 11907, 'sampleEnd': 15433},
{'id': 3, 'phoneme': ' ', 'sampleStart': 15434, 'sampleEnd': 47627},
{'id': 3, 'phoneme': 'eye', 'sampleStart': 47628, 'sampleEnd': 57770},
{'id': 3, 'phoneme': 's', 'sampleStart': 57771, 'sampleEnd': 66590},
]
associatedData = []
for w in words:
startWord = w['sampleStart']
endWord = w['sampleEnd']
word = w['word']
w_id = w['id']
for p in phonemes:
startPhoneme = p['sampleStart']
endPhoneme = p['sampleEnd']
phoneme = p['phoneme']
p_id = p['id']
if startPhoneme >= startWord and endPhoneme <= endWord:
# I need to relate this data as it comes from 2 different sources
# Some computations occur here that are too ling to reproduce here, this multiplication is just to give an example
mult = startPhoneme * startWord
associatedData.append({'w_id' : w_id, 'p_id': p_id, 'word' : word, 'phoneme' : phoneme, 'someOp': startWord})
# Gather associated data for later use:
print(associatedData)
Что может быть хорошим подходом к решению этой проблемы? Я относительно новичок в векторных операциях, и я уже несколько часов борюсь с этим без особого результата.
Непонятно, что именно вы хотите векторизовать - я предлагаю вам привести небольшой пример двух вещей, которые вы хотите сравнить и как.
Когда массивы различаются по размеру, обычно приходится работать с ними индивидуально. Если они не помещаются в один многомерный массив, вы не можете использовать более быстрые методы целого массива.
Извинения, см. Отредактированный пост для более конкретного примера
Ответы 1
Глядя на все возможные фонемы для каждого слова, масштаб не получится. Объем проделанной работы больше, чем нужно. С любым количеством words и phonemes всегда будут операции len(words) * len(phonemes) с этим подходом. Векторизация может ускорить это, но вместо этого лучше уменьшить саму сложность.
Лучше для каждого слова старайтесь смотреть только на несколько кандидатов фонем. Одним из решений может быть сохранение указателя на текущую фонему. С каждым новым словом повторяйте (локально, только вокруг указателя текущей фонемы) по диапазону совпадающих фонем.
Решение псевдокода:
# skip if already sorted
words = sorted(words, key=lambda x:x["sampleStart"])
phonemes = sorted(phonemes, key=lambda x:x["sampleStart"])
phoneme_idx = 0
for w in words:
# go back until the earliest relevant phoneme
while endtime(phonemes[phoneme_idx]) < starttime(w):
phoneme_idx -= 1
# evaluate all phonemes in range
while endtime(phonemes[phoneme_idx]) <= starttime(w):
# match and compute
evavalute(phonemes[phoneme_idx], w)
phoneme_idx += 1
Не могли бы вы предоставить минимальный воспроизводимый пример? Трудно следить за тем, что вы пытаетесь сделать, не видя, как выглядят
wиp, и без желаемого результата.