Как поделиться настроенным регистратором между запущенными процессами?

Совместное использование объекта журнала между процессами может быстро стать странным.

Я бы рекомендовал использовать класс QueueHandler, поскольку вы начали это делать, а затем использовать ведение журнала верхнего уровня. Затем установите все параметры конфигурации в главном регистраторе очереди. Это работает в Python 3.11.9

Например

import multiprocessing
import logging
import logging.config
from logging.handlers import QueueListener
from logging import StreamHandler
import atexit

STD_FORMAT_STR = r"[%(levelname)s @ %(name)s|%(filename)s|L%(lineno)d|%(asctime)s|%(process)d]: %(message)s"
STD_DATE_FORMAT_STR = "%Y-%m-%dT%H:%M:%S%z"

def create_share_logging_queue():
  ### CREATE THE SHARED LOGGING QUEUE
  loggingQueue = multiprocessing.Queue()

  ## CREATE HANDLERS ###
  standardFormat = logging.Formatter(fmt=STD_FORMAT_STR,
                                       datefmt=STD_DATE_FORMAT_STR)
  _hndlr = StreamHandler()
  _hndlr.setLevel("DEBUG")
  _hndlr.setFormatter(standardFormat)

  ### CREATE AND START QUEUE LISTENER ###
  queueListener = QueueListener(loggingQueue,_hndlr,respect_handler_level=True)
  queueListener.start()
  atexit.register(queueListener.stop) # ensures that queue resources are cleared when dying
  return loggingQueue

def setup_mp_device_queued_logging(loggingQueue):
    """
        1. Take in the shared mp.Queue that all devices write to
        2. Create a QueueHandler that log records will push to
    Args:
        loggingQueue (_type_): _description_
    """
    loggingDictConfig  = {
        "version": 1,
        "disable_existing_loggers": True,
        
        "formatters" : {
        },
        "handlers": {
            "myQueueHandler" : {
                "class" : "logging.handlers.QueueHandler",
                "queue" : loggingQueue
            }
        },
        "root" : {
                "level": "DEBUG",
                "handlers" : [
                       "myQueueHandler"
                ]
            },
    }
    ### CREATE THE QUEUEHANDLER + CONFIGURE LOGGING ###
    logging.config.dictConfig(loggingDictConfig)

def someFoo(myQ : multiprocessing.Queue, nm : str):
   setup_mp_device_queued_logging(myQ)
   logger = logging.getLogger(f"{nm}")
   logger.debug(f"Hello from {nm}")
   pass

if __name__ == "__main__":
    myQ = create_share_logging_queue()
    setup_mp_device_queued_logging(myQ)
    logger = logging.getLogger("MAIN")

    p1 = multiprocessing.Process(target=someFoo, args=(myQ,"CoolProc1"))
    p2 = multiprocessing.Process(target=someFoo, args=(myQ,"CoolProc2"))
    p1.start()
    p2.start()
    logger.debug("Hello From Main")
    p1.join()
    p2.join()

ВНЕ:

[DEBUG @ MAIN|test.py|L72|2024-09-05T16:46:42-0500|26284]: Hello From Main
[DEBUG @ CoolProc1|test.py|L60|2024-09-05T16:46:42-0500|11940]: Hello from CoolProc1
[DEBUG @ CoolProc2|test.py|L60|2024-09-05T16:46:42-0500|19016]: Hello from CoolProc2

ПРИМЕЧАНИЯ:

• Импорт библиотеки журналирования между версиями очень странный. Имейте это в виду.
• Если вы используете самодельные библиотеки (например, my_tools.py), может быть очень полезно установить регистратор в качестве глобальной переменной и разрешить ему наследовать настроенный регистратор от того, кто вызывает инструмент. Для этого вам необходимо установить для параметра «отключить регистраторы» значение False и вручную удалить те, которые вам нужны. Я нашел этот фрагмент полезным:

VALID_LOGGERS = ['MAIN','CoolProc1','CoolProc2']
disabled_logger_cnt = 0
    for log_name in logging.Logger.manager.loggerDict:
        if not log_name in VALID_LOGGERS:
            log_obj = logging.getLogger(log_name)
            log_obj.setLevel(logging.WARNING)
            disabled_logger_cnt += 1

• Поскольку это похоже на приложение tkinter, будьте осторожны с тем, как вы управляете своими mp-очередями. Неправильное закрытие процессов может привести к зависаниям, вызывающим разочарование, поскольку они зависят от общего ресурса очереди журналирования.

• Ознакомьтесь с руководством по ведению журнала mCoding. оно очень информативно и описывает передовой опыт: https://thewikihow.com/video_9L77QExPmI0?si=4ggPehbVIzJoegip

=== TLDR ===

Не делитесь журналами между процессами. Используйте очереди для передачи сообщений журнала в главный регистратор. Вероятно, создайте функцию для настройки регистратора и настраивайте и получайте регистраторы только один раз для каждого процесса.