Как мне работать со словарями (цепями Маркова), которые слишком велики для барана?

Я работаю над генератором текста цепи Маркова в обучении python большого корпуса 20 ГБ +. Он берет простой текст и разбивает его на пары: два текущих выбранных слова и следующее за ним слово. Это часть списка:

[(('as', 'a'), 'subject'), (('a', 'subject'), 'for'), (('subject', 'for'), 'the'), (('for', 'the'), 'remarks'), (('the', 'remarks'), 'of'), (('remarks', 'of'), 'the'), (('of', 'the'), 'evening'), (('the', 'evening'), 'the'), (('evening', 'the'), 'perpetuation'), (('the', 'perpetuation'), 'of'), (('perpetuation', 'of'), 'our'), (('of', 'our'), 'political')]

Затем я помещаю это в словарь, поэтому, если у меня есть ключ (два слова), который встречается несколько раз, я могу просто поместить значение в виде массива с несколькими значениями:

{('as', 'a'): ['subject', 'nation'], ('a', 'subject'): ['for'], ('subject', 'for'): ['the'], ('for', 'the'): ['remarks', 'executive', 'government', 'laws', 'redress', 'sake', 'constitution'], ('the', 'remarks'): ['of']}

Я делаю это снова для тысяч файлов, добавляемых в этот словарь, через некоторое время он становится слишком большим для оперативной памяти. Есть ли способ сохранить такой словарь на диске? Структура данных:

• нужно быть быстрым
• редактируемый однажды сделанный
• легко доступен для поиска

У меня лучшие идеи, которые у меня были, - это база данных или файл csv, но я читал, что они непрактичны.