Как написать счетчик частотного анализа алфавитных биграмм (aa, ab, bc, cd ... zz) в Python?
Это мой текущий код, который выводит частоту каждого символа во входном файле.
from collections import defaultdict
counters = defaultdict(int)
with open("input.txt") as content_file:
content = content_file.read()
for char in content:
counters[char] += 1
for letter in counters.keys():
print letter, (round(counters[letter]*100.00/1234,3))
Я хочу, чтобы он печатал частоту биграмм только алфавитов (aa, ab, ac ..zy, zz), а не пунктуацию. Как это сделать?
Ответы 3
Вы также можете построить на основе текущего кода для обработки пар. Следите за двумя символами вместо одного, добавляя еще одну переменную, и используйте проверку, чтобы исключить неалфавиты.
from collections import defaultdict
counters = defaultdict(int)
paired_counters = defaultdict(int)
with open("input.txt") as content_file:
content = content_file.read()
prev = '' #keeps track of last seen character
for char in content:
counters[char] += 1
if prev and (prev+char).isalpha(): #checks for alphabets.
paired_counters[prev+char] += 1
prev = char #assign current char to prev variable for next iteration
for letter in counters.keys(): #you can iterate through both keys and value pairs from a dictionary instead using .items in python 3 or .iteritems in python 2.
print letter, (round(counters[letter]*100.00/1234,3))
for pairs,values in paired_counters.iteritems(): #Use .items in python 3. Im guessing this is python2.
print pairs, values
(отказ от ответственности: в моей системе нет Python 2. Если в коде есть проблема, дайте мне знать.)
Есть более эффективный способ подсчета биграфов: с помощью Counter. Начните с чтения текста (при условии, что он не слишком большой):
from collections import Counter
with open("input.txt") as content_file:
content = content_file.read()
Отфильтровать небуквенные символы:
letters = list(filter(str.isalpha, content))
Вероятно, вам также следует преобразовать все буквы в нижний регистр, но это зависит от вас:
letters = letters.lower()
Создайте застежку из оставшихся букв с самими собой, сдвинутыми на одну позицию, и посчитайте биграфы:
cntr = Counter(zip(letters, letters[1:]))
Нормализовать словарь:
total = len(cntr)
{''.join(k): v / total for k,v in cntr.most_common()}
#{'ow': 0.1111111111111111, 'He': 0.05555555555555555...}
Решение можно легко обобщить на триграфы и т. д., Изменив счетчик:
cntr = Counter(zip(letters, letters[1:], letters[2:]))
Если вы используете nltk:
from nltk import ngrams
list(ngrams('hello', n=2))
[вне]:
[('h', 'e'), ('e', 'l'), ('l', 'l'), ('l', 'o')]
Чтобы сделать подсчет:
from collections import Counter
Counter(list(ngrams('hello', n=2)))
Если вам нужно собственное решение на Python, взгляните на: