Графика с многопроцессорной обработкой
Можно ли построить параллельные процессы? Если нет, то не могли бы вы объяснить, почему это так?
В приведенном ниже сценарии я привел пример построения графика в цикле, ThreadPool и многопроцессорном пуле. В цикле и ThreadPool все работает как положено. В многопроцессорный пул мы приходим с пустым сюжетом.
import matplotlib.pyplot as plt
import numpy as np
from multiprocessing import Pool
from multiprocessing.pool import ThreadPool
from functools import partial
def plot(ax, x, y):
ax.plot(x, y)
if __name__ == "__main__":
x = np.linspace(0, 2 * np.pi, 100)
y_arr = [np.sin(x), np.cos(x)]
fig, ax = plt.subplots()
# works as expected
for yi in y_arr:
plot(ax, x, yi)
plt.show()
# works as expected
fig, ax = plt.subplots()
with ThreadPool(5) as p:
p.map(partial(plot, ax, x), y_arr)
plt.show()
# doesn't work
fig, ax = plt.subplots()
with Pool(5) as p:
p.map(partial(plot, ax, x), y_arr)
plt.show()
В качестве примечания, бег
with Pool(5) as p:
p.map(partial(ax.plot, x), y_arr)
вызывает жесткий сбой multiprocessing/resou rce_tracker.py:224: UserWarning: resource_tracker: There appear to be 6 leaked semaphore objects to clean up at shutdown warnings.warn('resource_tracker: There appear to be %d ', вызывая отчет о сбое от моей ОС.
Ответы 2
Проблема связана с многопроцессорным пулом. Вы должны строить графики параллельно, поскольку каждый пул создает новый процесс, который не знает о других графиках в бэкэнде. Вот почему вы получаете пустой сюжет. Используйте matplotlib.use('Agg').
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np
from multiprocessing import Pool
from multiprocessing.pool import ThreadPool
from functools import partial
def plot(ax, x, y):
ax.plot(x, y)
if __name__ == "__main__":
x = np.linspace(0, 2 * np.pi, 100)
y_arr = [np.sin(x), np.cos(x)]
fig, ax = plt.subplots()
for yi in y_arr:
plot(ax, x, yi)
plt.show()
fig, ax = plt.subplots()
with ThreadPool(5) as p:
p.map(partial(plot, ax, x), y_arr)
plt.show()
fig, ax = plt.subplots()
with Pool(5) as p:
p.map(partial(plot, ax, x), y_arr)
plt.show()
Можно ли построить параллельные процессы? Если нет, то не могли бы вы объяснить, почему это так?
Нет, вы не можете тривиально отображать одно и то же окно из нескольких процессов, поскольку каждый процесс может рисовать только в своих собственных окнах, многопроцессорность порождает несколько процессов, и хотя каждый из них может создать свое собственное окно для рисования, вы не можете иметь их все рисование в одно и то же окно, это ограничение операционной системы.
Если вы просто сохраняете фигуры на диск, вы можете использовать бэкэнд без графического интерфейса, используя matplotlib.use('Agg') , и каждый процесс может нарисовать свою фигуру в памяти и сохранить ее на диск, используя plt.savefig
график выглядит пустым, потому что каждый процесс имеет свою собственную память, и ax.plot изменяет только копию ax, которая существует в памяти дочернего процесса, которую дочерний процесс может показать, если вы измените plot следующим образом.
import matplotlib.pyplot as plt
import numpy as np
from multiprocessing import Pool
from functools import partial
def plot(ax, x, y):
ax.plot(x, y)
plt.show()
if __name__ == "__main__":
x = np.linspace(0, 2 * np.pi, 100)
y_arr = [np.sin(x), np.cos(x)]
fig, ax = plt.subplots()
with Pool(5) as p:
p.map(partial(plot, ax, x), y_arr)
plt.show()
вы получаете 3 окна, первые 2 показывают копию ax каждого ребенка, а третье окно пустое, поскольку оно показывает родительскую копию ax, которая не изменена.