Управление подключениями в приложении бессерверной функции Azure
Microsoft рекомендует поддерживать один экземпляр CosmosClient во всем приложении, и я пытаюсь добиться этого в своем приложении-функции (не только с CosmosClient). Однако даже при повторном использовании прокси базы данных и контейнера я всегда вижу предупреждение о том, что я достиг максимального (10) количества подключений к Cosmos и что он сбрасывает соединение, когда я отправляю достаточное количество запросов.
Для контекста, это бессерверное приложение-функция Python, запускаемое очередью сообщений, соединения управляются в общем коде во вспомогательной функции. Я должен использовать Cosmos SDK, потому что мне нужно читать и обновлять документ Cosmos.
Кто-нибудь успешно прошел это в прошлом? было бы лучше просто создавать новое соединение для каждого вызова функции? Я попытался создать новый CosmosClients при получении пакетного трафика, но это оказалось очень сложно сделать эффективно.
Вот пример класса, который я использую для управления соединениями:
COSMOS_CLIENT = None
class Client:
def __init__(self):
self.cosmos_client: CosmosClient = self._get_global_cosmos_client()
def _get_global_cosmos_client(self) -> CosmosClient:
global COSMOS_CLIENT
if COSMOS_CLIENT is None:
logging.info('[COSMOS] NEW CLIENT CONNECTION')
COSMOS_CLIENT = CosmosClient.from_connection_string(COSMOS_DB_CONNECTION_STRING
return COSMOS_CLIENT
@MatiasQuaranta Я точно смогу! Обновлено.
Ответы 1
Концептуально, поскольку вы создаете клиент на основе ConnectionString (всегда 1), этот код всегда должен создавать 1 клиент.
Количество подключений — это не количество клиентов.
Не создавайте несколько клиентов, всегда создавайте 1 клиента для каждой учетной записи, с которой вы взаимодействуете. Этот единственный клиент может выполнять операции со всеми существующими базами данных/контейнерами в учетной записи.
Создание нескольких клиентов просто создает проблему, потому что каждый клиент будет поддерживать свои собственные независимые соединения, а не использовать их повторно, и это создаст большее количество соединений, чем повторное использование одного клиента, что в конечном итоге приведет к исчерпанию портов SNAT.
Сообщение об ошибке: Connection pool is full, discarding connection: не генерируется Cosmos Client напрямую, а из базового urllib3.connectionpool. См.: https://github.com/Azure/azure-sdk-for-python/issues/12102
CosmosClient поддерживает передачу сеанса через transport, https://github.com/Azure/azure-sdk-for-python/blob/main/sdk/core/azure-core/CLIENT_LIBRARY_DEVELOPER.md#transport , -> https://github.com/Azure/azure-sdk-for-python/blob/main/sdk/cosmos/azure-cosmos/azure/cosmos/_cosmos_client_connection.py#L198.
Ссылка: https://github.com/Azure/azure-sdk-for-python/issues/12102#issuecomment-645641481
Предупреждение приходит из космоса, скорее всего, слишком много подключений к Космосу через HTTP. Я обновил пример кода, чтобы показать, как я изначально создавал экземпляр клиента. Он создает только одного клиента и почти мгновенно устанавливает максимальное количество подключений.
Не могли бы вы поделиться точными деталями предупреждающего сообщения?
Кроме того, как код защищает от одновременных вызовов _get_global_cosmos_client?
Вот точное предупреждение Connection pool is full, discarding connection: cosmosdbname-eastus.documents.azure.com. Connection pool size: 10 Что касается одновременных вызовов, я не думал, что GIL позволит это в рамках одной функции.
Смотрите отредактированный ответ. Это не исходит из Космоса, это исходит из urllib3
Ах я вижу. Связанная вами проблема GH связана с контейнером хранения очереди, а не с космическим контейнером. Когда я передаю ключевое слово сеанса в космический контейнер, например CosmosClient.from_connection_string(COSMOS_DB_CONNECTION_STRING, session=sess), я получаю request() got an unexpected keyword argument 'session'. В противном случае это кажется решением.
Давайте продолжим обсуждение в чате.
Можете ли вы поделиться фрагментами кода о том, как вы создаете клиент?