Пафос параллельная обработка в python ошибка

Продолжайте получать эту ошибку при попытке параллельного процесса в python:

    An error has occured during the function import
Traceback (most recent call last):
 File "/home/runner/.site-packages/ppft/__main__.py", line 100, in 
run
    six.exec_(__fobj)
  File "<string>", line 46, in <module>
ModuleNotFoundError: No module named 'ppft.exceptions'
A fatal error has occured during the function execution
Traceback (most recent call last):
  File "/home/runner/.site-packages/ppft/__main__.py", line 109, 
in run
    __f = locals()[ppc.str_(__fname)]
KeyError: 'run_test'

Вот сводка моего кода:

from pathos.pools import ParallelPool as Pool
urls = ["https://www.baidu.com", "https://google.com/"]

def run_test(url):
    #getting and storing a bunch of JSON data from urls in here
    #content here did not produce errors when doing single process

pool =  Pool(4)
print(pool.map(run_test, urls))
pool.close() 
pool.join()

Пожалуйста, может кто-нибудь помочь мне понять ошибку / проблему?

В какой ОС вы запускаете свой код (Windows против Linux / Mac делает имеет значение при использовании многопроцессорной обработки)? Также: есть ли у вас случайно модуль / пакет с именем ppft? Распространенная ошибка - использовать одно и то же имя библиотеки и в конечном итоге получать ошибки, потому что код импортирует неправильный файл ...

Giacomo Alzetta 10.09.2018 09:09

@GiacomoAlzetta Я использую Python 3.6.1 в Linux. Я так думаю - когда я вхожу в справку ("модули"), отображается ppft. Не совсем уверен, что вы имеете в виду в последнем предложении ... когда бы я использовал ту же библиотеку? мне нужно как-то удалить ppft? (Извините, если это глупые вопросы. Довольно новичок в этом и очень признателен за вашу помощь!)

ckb 10.09.2018 10:10

Я не могу воспроизвести эту ошибку с пустым телом run_test на Mac.

rocksportrocker 10.09.2018 10:33
0
3
397
0

Другие вопросы по теме