Многопроцессорность и многопоточность — теоретическое уточнение

У меня есть два вопроса, связанных с параллельной работой Python, которые требуют чьего-то разъяснения.

Описание задания:

Допустим, я установил два сценария py. Каждый скрипт выполняет две задачи, связанные с вводом-выводом (вызовы API) с многопоточностью (максимальное количество рабочих процессов равно 2).

Вопросы:

  1. Если я не использую виртуальную среду и запускаю оба сценария через глобальный интерпретатор Python (тот, который используется для общесистемной установки Python). Делает ли это описанную мной задачу однопроцессной и многопоточной? Поскольку мы используем один интерпретатор (один процесс) и имеем два сценария, выполняющих в общей сложности 4 потока?

  2. Если я использую Pycharm для создания двух отдельных проектов, где каждый проект имеет свой собственный интерпретатор Python. Превращает ли такая настройка задачу в многопроцессорную и многопоточную? Поскольку у нас работают два интерпретатора Python, и каждый из них запускает два потока?

Привет, @Carcigenicate, большое спасибо за комментарий. Не могли бы вы сообщить мне, верно ли мое понимание или нет? когда я запускаю два сценария, он, по сути, запускает два процесса, и каждый процесс имеет два потока; и не важно, использую я venv или нет?

Vae Jiang 10.04.2022 02:01

Привет, @Carcigenicate, большое спасибо! Теперь я полностью понимаю. Я надеюсь, что у вас впереди отличные выходные!

Vae Jiang 10.04.2022 02:15

И, не могли бы вы опубликовать комментарий в качестве ответа? Так что я могу принять и закрыть вопрос. Большое спасибо!

Vae Jiang 10.04.2022 02:16

Re: "Это делает задачу... многопоточной?" Многопоточность в значительной степени определяется тем фактом, что потоки взаимодействуют друг с другом через общие объекты или общие переменные. Если вы запускаете два отдельных сценария — независимо от того, как они на самом деле реализованы — не имеет смысла называть это «многопоточностью», если сценарии не взаимодействуют через общие переменные или объекты.

Solomon Slow 10.04.2022 17:05
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
0
4
26
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Каждый работающий процесс интерпретатора имеет свой собственный GIL, который отделен от любых других GIL в других запущенных интерпретаторах. Проект и виртуальная среда, связанные с выполняемым скриптом, не имеют значения. Виртуальные среды должны изолировать разные версии Python и библиотек, чтобы библиотеки из одного проекта не мешали библиотекам из другого.

Если вы запустите два скрипта по отдельности, например python script.py, это запустит два независимых интерпретатора, на которые не повлияет другой.


Does such a setting turn the task into multiprocessing and multithreaded?

Я не думаю, что имеет смысл называть это «многопроцессорной задачей», если два процесса полностью независимы друг от друга и никогда не разговаривают. У вас запущено несколько процессов, но «многопроцессорность» в контексте программы Python обычно означает одну согласованную программу, которая использует несколько процессов для выполнения общей задачи.

Другие вопросы по теме