Отдельные подпредложения внутри предложения без какой-либо координации
Я хочу разделить все подпредложения внутри предложения. Если в предложении есть знаки препинания или какая-либо координация, я могу разделить их пробелами. Но в случае, когда нет разделения, есть ли у вас какие-либо идеи, как с этим бороться? Например, у меня есть предложение (на французском):
Je suis Linda je veux savoir votre nom.
Я хочу получить:
Je suis Linda
je veux savoir votre nom.
Просто используя spacy это возможно? Пока нет никаких правил, и это то, о чем я прошу. Для другого разделения я использовал токенизатор предложений с пробелом или разделял предложения, когда видел координирующий союз или подчинительный союз.
Хотя задача, которую вы описали, может быть, а может и не выходить за рамки современного ИИ, однозначного алгоритмического ответа, безусловно, не существует. Вы спрашиваете об обработке естественного языка. Погуглите это и удивитесь (или встревожитесь, в зависимости от вашей точки зрения).
Спасибо за ваши ответы, может быть, это еще не выходит за рамки современного искусства ИИ.
Ответы 2
Я думаю, вы, вероятно, можете сделать это, используя какую-то вероятностную модель, но это будет довольно технически. Идея состоит в том, что у слов есть определенная вероятность того, что они относятся к определенной части речи («видеть» обычно является глаголом, но иногда является существительным, например, «Святой Престол» на самом деле относится к Папе). Каждая часть речи имеет условную вероятность находиться рядом с другой частью речи (например, существительное следует за предлогом). Используя эту информацию, алгоритм может рассчитать вероятность предложений и предложений. Алгоритм должен будет поддерживать несколько жизнеспособных интерпретаций и возвращать интерпретацию с наибольшей вероятностью, которая будет представлять собой одно или несколько предложений. Я считаю, что это то, о чем вы просите.
К сожалению, я не знаю, умеет ли SpaCy это делать. Я подозреваю, что нет.
Предлагаю вам посмотреть примеры решения такого рода задач в академической литературе. Вот два для начала:
Для будущих пользователей, которым это может понадобиться, я нашел на github реализацию, которая может разделять предложения без знаков препинания, с плохой пунктуацией или с неправильной пунктуацией. Это глубокий сегмент. Мне нужно только загрузить предварительно обученная модель для французского языка и изменить путь в config.json в этой папке модели.
from deepsegment import DeepSegment
segmenter = DeepSegment('mydata\\deepsegment_eng_fra_ita_v1\\config.json')
print(segmenter.segment('Je suis Linda je veux savoir votre nom.'))
И мы получаем:
['Je suis Linda', 'je veux savoir votre nom.']
Каковы правила выполнения этого разделения?