Сессия для подключения Snowflake из Lambda
Я разрабатываю AWS Lambda на питоне, который будет запускаться шлюзом API, и лямбда подключит мою снежинку. Я обработаю несколько CSV-файлов через API Gateway, чтобы получить данные из Snowflake. В настоящее время я использую соединитель Python для подключения Snowflake.
Моя проблема в том, что если мой csv имеет 100 записей, поэтому он обрабатывает записи рекурсивно и каждый раз подключает снежинку из лямбды для обработки каждой записи и ее влияния на производительность.
Есть ли какой-либо метод или механизм, с помощью которого лямбда может создать сеанс на определенный период времени и обработать все записи в одном соединении.
Ответы 1
Насколько я знаю, connect() автоматически создаст сеанс, который будет длиться в течение определенного периода времени. После подключения вы можете использовать курсор для выполнения нескольких команд без необходимости каждый раз вызывать connect(). Документы здесь. Но я предполагаю, что вы это знаете, и вам нужна одна команда вместо того, чтобы вызывать несколько INSERT.
Это также возможно, используя команду STAGE и COPY INTO вместо INSERT. Пример массовой загрузки из AWS S3 здесь можно найти в документации Snowflake.
@SuryaPratap Что касается это, время простоя по умолчанию составляет 4 часа. Вы можете управлять политикой сеанса, например, с помощью эта команда.
Привет, @Register Sole. Спасибо за отзыв. Он работает нормально. Не могли бы вы сообщить мне, как долго сеанс будет активен по умолчанию и как мы можем изменить время, если это возможно.