Копирует ли dict в несколько процессов объекты в dict?

TLDR: Он действительно передает достаточно интересную копию. Но не в обычном режиме. Дочерний и родительский процессы совместно используют одну и ту же память, если только один из них не изменяет объект (в системах, которые реализуют копирование при записи [это есть как в Windows, так и в Linux]). В этом случае память выделяется для объекта, который был изменен.

Я твердо верю в то, что лучше увидеть что-то в действии, чем просто услышать, мол, давай займемся этим.

Для этого я взял пример кода multiprocessing из Интернета. Пример кода подходит для ответа на этот вопрос, но он не соответствует коду из вашего вопроса.

Весь следующий код представляет собой один сценарий, но я собираюсь разбить его на части, чтобы объяснить каждую часть.

Запустите пример:

Сначала давайте создадим dictionary. Я буду использовать это вместо DataFrame, так как они действуют одинаково, но мне не нужно устанавливать пакет, чтобы использовать его.

Примечание: Синтаксис id(), он возвращает уникальный идентификатор объекта.

# importing the multiprocessing module 
import multiprocessing
import sys # So we can see the memory we are using 

myDict = dict()
print("My dict ID is:", id(myDict))
myList = [0 for _ in range(10000)] # Just a massive list of all 0s
print('My list size in bytes:', sys.getsizeof(myList))
myDict[0] = myList
print("My dict size with the list:", sys.getsizeof(myDict))
print("My dict ID is still:", id(myDict))
print("But if I copied my dic it would be:", id(myDict.copy()))

Для меня это выведено:

My dict ID is: 139687265270016
My list size in bytes: 87624
My dict size with the list: 240
My dict ID is still: 139687265270016
But if I copied my dic it would be: 139687339197496

Круто, поэтому мы видим, что id изменится, если мы скопируем объект, и мы увидим, что dictionary просто содержит указатель на list (таким образом, dict значительно меньше по размеру памяти).

Теперь давайте посмотрим, копирует ли Process словарь.

def method1(var): 
    print("method1 dict id is:", str(id(var)))

def method2(var): 
    print("method2 dict id is:", str(id(var))) 

if __name__ == "__main__": 
    # creating processes 
    p1 = multiprocessing.Process(target=method2, args=(myDict, )) 
    p2 = multiprocessing.Process(target=method1, args=(myDict, )) 

    # starting process 1 
    p1.start() 
    # starting process 2 
    p2.start() 

    # wait until process 1 is finished 
    p1.join() 
    # wait until process 2 is finished 
    p2.join() 

    # both processes finished 
    print("Done!") 

Здесь я передаю myDict как arg обеим моим функциям подпроцесса. Вот что я получаю на выходе:

method2 dict id is: 139687265270016
method1 dict id is: 139687265270016
Done!

Примечание:id такой же, как когда мы определяли словарь ранее в коде.

Что это значит?

Если id никогда не меняется, значит, мы используем один и тот же объект во всех случаях. Так что теоретически, если я внесу изменения в Process, это должно изменить основной объект. Но это происходит не так, как мы ожидаем.

Например: Давайте изменим наш method1.

def method1(var): 
    print("method1 dict id is:", str(id(var)))
    var[0][0] = 1
    print("The first five elements of the list in the dict are:", var[0][:5])

А ТАКЖЕ добавьте пару prints после нашего p2.join():

p2.join()
print("The first five elements of the list in the dict are:", myDict[0][:5])
print("The first five elements of the list are:", myList[:5])

My dict ID is: 140077406931128
My list size in bytes: 87624
My dict size with the list: 240
My dict ID is still: 140077406931128
But if I copied my dic it would be: 140077455160376
method1 dict id is: 140077406931128
The first five elements of the list in the dict are: [1, 0, 0, 0, 0]
method2 dict id is: 140077406931128
The first five elements of the list in the dict are: [0, 0, 0, 0, 0]
The first five elements of the list are: [0, 0, 0, 0, 0]
Done!

Что ж, интересно... id одинаковые, и я могу изменить объект в функции, но dict не меняется в основном процессе...

Ну, после некоторого дальнейшего изучения я нашел этот вопрос/ответ: https://stackoverflow.com/a/14750086/8150685

При создании дочернего процесса дочерний процесс наследует копию родительского процесса (включая копию ids!); однако (при условии, что используемая ОС поддерживает COW (копирование при записи), ребенок и родители будут использовать одну и ту же память, если только ребенок или родитель не внесет изменения в данные, и в этом случае память будет выделена только для переменная, которую вы изменили (в вашем случае она сделает копию DataFrame, которую вы изменили).

Извините за длинный пост, но я подумал, что рабочий процесс будет хорош.

Надеюсь, это помогло. Не забудьте проголосовать за вопрос и ответить на https://stackoverflow.com/a/14750086/8150685, если он вам помог.