Python ProcessPoolExecutor не работает в функции

python ProcessPoolExecutor работает в командной строке, но не запускается после добавления в функцию

это работает так

from concurrent import futures

def multi_process(func, paras, threads):
    with futures.ProcessPoolExecutor(max_workers=threads) as pool:
        res = pool.map(func, paras, chunksize=threads)
    return list(res)
p = multi_process(func,paras,threads)

но не работает вообще, как показано ниже

def upper(paras,threads):
    def func:
        some func
    def multi_process(func, paras, threads):
        with futures.ProcessPoolExecutor(max_workers=threads) as pool:
            res = pool.map(func, paras, chunksize=threads)
        return list(res)
    p = multi_process(func,paras,threads)
    return p
p = upper(paras,threads)

никаких предупреждений или ошибок, но без ответа в течение длительного времени.

python multiprocessing

10.07.2019 12:22

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

2 706

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы получаете ошибку. Его.

AttributeError: Can't pickle local object 'upper.<locals>.func'.

Причина в том, что для работы многопроцессорной обработки необходимо, чтобы функция была определена на глобальном уровне.

Для достижения желаемого вы можете сделать следующее:

from concurrent import futures

# Has to be a global function
def func(para):
    print(para)


def upper(paras,threads):
    # This cannot be a local function.
    #def func(para):
    #    print(para)
    def multi_process(func, paras, threads):
        with futures.ProcessPoolExecutor(max_workers=threads) as pool:
            res = pool.map(func, paras, chunksize=threads)
        return list(res)
    p = multi_process(func, paras, threads)
    return p

paras = [1, 2, 3]
threads = 3
p = upper(paras,threads)

Большое спасибо, теперь это действительно работает, на самом деле он не отвечает и не выдает никаких ошибок, возможно, потому что код выполняется в блокноте Jupyter.

— 11.07.2019 03:41

да, это было бы причиной того, что вы не видите ошибок. Если это ответ на ваш вопрос, отметьте его как ответ, что поможет другим пользователям, которые просматривают этот вопрос.

— 11.07.2019 16:33

10.07.2019 13:49