Я столкнулся с чем-то похожим на Как загрузить файл из пользовательского корзины Minio s3 в pandas, используя формат URL-адреса s3?
однако у меня уже есть инициализированный сеанс s3 (от boto3). Как я могу получить от него учетные данные, чтобы передать их напрямую пандам? т.е. как я могу извлечь AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY из инициализированного клиента boto3 s3?
Вы можете использовать session.get_credentials
import boto3
session = boto3.Session()
credentials = session.get_credentials()
AWS_ACCESS_KEY_ID = credentials.access_key
AWS_SECRET_ACCESS_KEY = credentials.secret_key
AWS_SESSION_TOKEN = credentials.token
Если у вас есть доступ только к boto-клиенту (например, к клиенту S3), вы можете найти учетные данные, скрытые здесь:
client = boto3.client("s3")
client._request_signer._credentials.access_key
client._request_signer._credentials.secret_key
client._request_signer._credentials.token
Если вы не хотите обрабатывать учетные данные (я предполагаю, что вы используете здесь SSO), вы можете загрузить объект S3 напрямую с помощью pandas: pd.read_csv(s3_client.get_object(Bucket='Bucket', Key ='FileName').get('Body'))
Спасибо. То, что вы предлагаете, является захватывающим вариантом. Но сейчас я думаю, что хочу продолжать использовать путь (с дополнительными параметрами), так как он более общий. Однако session.meta.client
— это объект, с которым я имею дело (а не session
). Как мне нужно соответствующим образом изменить параметр для этого типа?
Я отредактировал свой ответ на примере с клиентом S3, надеюсь, это поможет
разве вы не тот, кто инициализирует клиент с кредитами? инициализировать панд таким же образом? Можете ли вы показать код, пожалуйста?