Подсчитайте частоту слов в Python с помощью словаря

Смоделируем несколько случаев.

Пример: «Птица летит»

words = ["A", "bird", "is", "flying"]

В вашем первом методе: для каждого слова он будет искать в словаре 3 раза, поэтому будет найдено всего 3 * len(words) или 3 * 4 = 12

Во втором способе: он будет искать только 2 раза, если не будет найден; иначе 1 раз: так 2 * 4 = 8

Теоретически оба имеют одинаковую временную сложность.

Обновлять:

Спасибо Тьерри Латюий за указание. Действительно, метод 1 должен быть более эффективным, чем метод 2. В словаре Python используется хэш-карта, поэтому доступ к ключевой сложности будет O (n), но в среднем случае это O (1). и реализация CPython довольно эффективна. С другой стороны, обработка исключений try / catch выполняется медленно.

вы можете использовать defaultdict в своем методе 1 для более чистого кода.

Это зависит от ввода. Если в среднем большинство слов уже находится в диктовке, вы не получите много исключений. Если большинство слов уникальны, то накладные расходы на исключения замедлят второй метод.

Есть несколько подходов к этому ответу. Вы можете использовать цикл и при этом получить ожидаемый ответ. Я сосредотачиваюсь на двух методах:

Понимание списка

wordstring = 'it was the best of times it was the worst of times '
wordstring += 'it was the age of wisdom it was the age of foolishness'
wordlist = wordstring.split()
# Count each word
wordfreq = [wordlist.count(w) for w in wordlist] # a list comprehension
# Convert to set to remove repetitions
frequencies=set(zip(wordlist, wordfreq))
print(frequencies)

Вывод:

{('of', 4), ('best', 1), ('the', 4), ('worst', 1), ('age', 2), ('wisdom', 1), ('it', 4), ('was', 4), ('times', 2), ('foolishness', 1)}

Метод второй: стандартная библиотека

import collections
wordstring = 'it was the best of times it was the worst of times '
wordstring += 'it was the age of wisdom it was the age of foolishness'
wordlist = wordstring.split()
# Count frequency
freq=collections.Counter(wordlist)
print(freq)

Вывод:

Counter({'it': 4, 'was': 4, 'the': 4, 'of': 4, 'times': 2, 'age': 2, 'best': 1, 'worst': 1, 'wisdom': 1, 'foolishness': 1})

Выбор метода зависит от размера текста, с которым вы работаете. Приведенные выше методы подходят для текста небольшого размера.

Есть два основных отличия:

• Метод 1 будет выполнять операцию in для каждого слова, а метод 2 будет обновлять напрямую, когда это возможно.
• Каждый раз, когда Method1 вставляет новое слово, счетчик позже обновляется. Method2 начинает отсчет с 1.

В конечном итоге это зависит от ввода, но если будет достаточное количество повторений, будет меньше операций.

Пример:
Давайте просто рассмотрим код здесь, чтобы получить общее представление (а не фактические операции).

['a', 'a']

Метод1
1 - 'а' не в wdict - True
2 - присвоить 'a'
3 - обновить 'a'
4 - 'a' не в слове - False
5 - обновить 'а'

Метод 2
1 - доступ 'a'
2 - ошибка
3 - присвоить "a" непосредственно 1
4 - обновить 'а' (второй 'а')

Хотя эти шаги не совсем соответствуют количеству операций, выполняемых при выполнении, они указывают на то, что Method2 более компактный и проходит меньше «шагов».