Память не освобождается, даже если количество ссылок на объект равно 0
В следующем фрагменте кода x больше не определено, но память, которую он занял, не была освобождена. Почему?
import psutil
import os
def memtest():
process = psutil.Process(os.getpid())
x = (process.memory_info().rss)/10**6
return float(x)
def myfunc():
x = [2]*10**7
return 0
print(memtest())
myfunc()
print(memtest())
Выход:
9.519104
89.546752
Основываясь на идее подсчета ссылок, счетчик ссылок x увеличивается на 1, когда он определен в локальной области видимости myfunc, как только мы выходим из этой области, счетчик ссылок уменьшается на 1, и поэтому память, связанная с этот объект должен был быть освобожден. Почему это не так?
Обновлено:
Даже после запуска del x память не освобождается. Почему?
import psutil
import os
def memtest():
process = psutil.Process(os.getpid())
x = (process.memory_info().rss)/10**6
return float(x)
def myfunc():
x = [2]*10**7
del x
return 0
print(memtest())
myfunc()
print(memtest())
Выход
9.629696
89.657344
Ответы 1
Распределители не всегда возвращают память ОС; они будут использовать его для удовлетворения будущих выделений без необходимости повторного запроса памяти из ОС (намного дороже, чем разделение существующих выделений). Попробуйте вызвать свою функцию несколько раз подряд; если использование памяти продолжает увеличиваться, ладно, возможно, есть проблема, но в большинстве случаев большая часть памяти, используемой в будущем, исходит из того, что вы освободили ранее.
Чтобы было ясно, del ничего не делает в вашем коде. Все, что он делает, это освобождает текущую ссылку на list, связанную с x. Поскольку x — это чисто локальная переменная, которую вы не возвращаете, эта ссылка все равно будет выпущена в тот момент, когда вы return. del голых имен редко бывает полезен (за исключением редких случаев, связанных с временными именами в глобальной области видимости, от которых вы хотите избавиться после того, как они использовались в какой-либо другой глобальной инициализации), поскольку имя deled обычно в любом случае исчезает в короткие сроки.
@credtz: По всему CPython разбросаны бесплатные списки, которые можно использовать только для этого типа, но в этих бесплатных списках хранятся объекты, максимальный размер которых составляет менее 1 КБ (обычно менее 200 Б). Для больших распределений, подобных тому, которое вы делаете, их теоретически можно повторно использовать для чего угодно. На практике CPython поддерживает разделение между малыми и большими выделениями, поэтому он, вероятно, не будет повторно использоваться для чего-либо, находящегося под пределом распределителя малых объектов, только для больших вещей, но он может быть большим set или bytes так же легко, как и большой. list (содержимое не имеет значения; int или str без разницы).
Хорошо, снова запустив код, я вижу, что утечки памяти нет! Просто проверяю, может ли эта память использоваться для хранения данных любого типа или точно такого же типа (например, другой список, содержащий ТОЛЬКО целые числа)? То есть, если бы я продолжил писать код и определил переменную y в глобальной области видимости,
y= ['hi']*10**3будет ли она использовать часть памяти, изначально используемую x, или полностью отдельный фрагмент от ОС?