Как создать корпус переводов для Python NLTK?

Для перевода, такого как наборы данных, NLTK может читать корпуса предложений с выравниванием по словам, используя AlignedCorpusReader. Файлы должны иметь следующий формат:

first source sentence
first target sentence 
first alignment
second source sentence
second target sentence
second alignment

Это означает, что предполагается, что токены разделены пробелами, а предложения начинаются на отдельных строках. Например, предположим, что у вас есть следующая структура каталогов:

reader.py
data/en-es.txt
data/en-pt.txt

где содержимое файлов:

# en-es.txt
This is an example
Esto es un ejemplo
0-0 1-1 2-2 3-3

и

# en-pt.txt
This is an example
Esto é um exemplo
0-0 1-1 2-2 3-3

Вы можете загрузить этот пример игрушки, используя следующий скрипт:

# reader.py    
from nltk.corpus.reader.aligned import AlignedCorpusReader

reader = AlignedCorpusReader('./data', '.*', '.txt', encoding='utf-8')

for sentence in reader.aligned_sents():
    print(sentence.words)
    print(sentence.mots)
    print(sentence.alignment)

Выход

['This', 'is', 'an', 'example']
['Esto', 'es', 'un', 'ejemplo']
0-0 1-1 2-2 3-3
['This', 'is', 'an', 'example']
['Esto', 'é', 'um', 'exemplo']
0-0 1-1 2-2 3-3

Строка reader = AlignedCorpusReader('./data', '.*', '.txt', encoding='utf-8') создает экземпляр AlignedCorpusReader, который читает все файлы, заканчивающиеся на '.txt', в каталоге './data'. Он также указывает, что файлы имеют кодировку 'utf-8'. Другими параметрами AlignedCorpusReader являются word_tokenizer и sent_tokenizer, для word_tokenizer установлено значение WhitespaceTokenizer(), а для sent_tokenizer установлено значение RegexpTokenizer('\n', gaps=True).

Более подробную информацию можно найти в документации (1 и 2).