Потоковая передача из журнала Python / stdout в соединение Redis

Как я могу передать Python stdout (или ведение журнала) в соединение Redis?

Есть долгая работа, для которой мне нужно вести журналы в реальном времени. Невозможно дождаться завершения задания, чтобы получить журналы, в случае сбоя должна быть запись о том, что произошло.

Мне удалось записать вывод журнала на стандартный вывод в буфере StringIO, который можно прочитать после завершения длительной работы.

Я не могу понять, как заставить этот буфер взаимодействовать с клиентом Redis в реальном времени, пока задание все еще выполняется.

python logging redis

18.11.2018 23:49

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

535

Ответы 1

Я понял:

from io import StringIO


class RedisHandler(StringIO):

    def __init__(self, key, redis_client):
        """
        Create a new StringIO interface for the given key and redis_client.
        """

        StringIO.__init__(self)
        self.key = key
        self.redis_client = redis_client

    def write(self, record):
        """
        Publish record to redis logging list
        """

        self.redis_client.lpush(self.key, record)

В основном скрипте я перенаправляю stdout + stderr в экземпляр RedisHandler. Redis действует как конечная точка для StringIO и добавляет каждую строку из вывода журнала в список.

Отличное решение! Мне интересно, как производительность хранения журналов в списке Redis, например, Redis может обрабатывать список, в котором хранятся журналы до 10K элементов и т. д.

— 18.05.2020 06:35

19.11.2018 01:41