Метод быстрой фильтрации в Python

Я предполагаю, что filter () работает настолько быстро, насколько это возможно, без необходимости кодировать функцию фильтрации на C (и в этом случае вам лучше закодировать весь процесс фильтрации на C).

Почему бы вам не вставить функцию, которую вы фильтруете? Это может упростить оптимизацию.

Прочтите это об оптимизации в Python. И это об API Python / C.

Возможно, ваши списки слишком велики и не умещаются в памяти, и вы испытываете взбучка. Если источники находятся в файлах, вам не нужен сразу весь список в памяти. Попробуйте использовать itertools, например:

from itertools import ifilter

def is_important(s):
   return len(s)>10

filtered_list = ifilter(is_important, open('mylist.txt'))

Обратите внимание, что ifilter возвращает итератор, который является быстрым и эффективным с точки зрения памяти.

Генераторные хитрости - это руководство Дэвида М. Бизли, в котором рассказывается о некоторых интересных применениях генераторы.

Прежде чем делать это на C, вы можете попробовать тупой. Возможно, вы сможете превратить фильтрацию в вычисление чисел.

Фильтр создаст новый список, поэтому, если ваш оригинал очень большой, вы можете использовать вдвое больше памяти. Если вам нужно обрабатывать результаты только итеративно, а не использовать его как реальный список с произвольным доступом, вам, вероятно, лучше использовать ifilter вместо этого. т.е.

for x in itertools.ifilter(condition_func, my_really_big_list):
    do_something_with(x)

Другие советы по скорости - использовать встроенный Python, а не функцию, которую вы пишете сами. Специально для случай, когда в противном случае вам нужно было бы ввести лямбду, чтобы свести на нет ваш чек. (например, «ifilter (lambda x: not x.isalpha (), l)» следует писать «ifilterfalse (str.isalpha, l)»)

Может быть полезно знать, что обычно понимание условного списка происходит намного быстрее, чем соответствующая лямбда:

>>> import timeit
>>> timeit.Timer('[x for x in xrange(10) if (x**2 % 4) == 1]').timeit()
2.0544309616088867
>>> timeit.f = lambda x: (x**2 % 4) == 1
timeit.Timer('[x for x in xrange(10) if f(x)]').timeit()
>>> 
3.4280929565429688

(Не уверен, почему мне нужно было поместить f в пространство имен timeit. На самом деле я мало использовал этот модуль.)

Если вам вообще удастся избежать создания списков, вы будете счастливее.

Скорее, чем

aBigList = someListMakingFunction()
filter( lambda x:x>10, aBigList )

Возможно, вы захотите взглянуть на свою функцию, которая входит в список.

def someListMakingGenerator( ):
    for x in some source:
        yield x

Тогда ваш фильтр не задействует гигантский участок памяти.

def myFilter( aGenerator ):
    for x in aGenerator:
        if x > 10: 
            yield x

Используя генераторы, вы не сохраняете много информации в памяти.