Как изменить параметры выполнения сеанса и использовать параметр fetchmany

Я пытаюсь адаптировать следующий код (из этого ответа):

from sqlalchemy import create_engine, select

conn = create_engine("DB URL...").connect()
q = select([huge_table])

proxy = conn.execution_options(stream_results=True).execute(q)

while 'batch not empty':  # equivalent of 'while True', but clearer
    batch = proxy.fetchmany(100000)  # 100,000 rows at a time

    if not batch:
        break

    for row in batch:
        # Do your stuff here...

proxy.close()

использовать сеанс вместо прямого соединения. Я в основном создаю такие сеансы:

def get_db():
    db = SessionLocal()
    try:
        yield db
    finally:
        db.close()

где

engine = create_engine(get_db_url(), **SQLALCHEMY_ENGINE_OPTIONS)
create_database(engine.url)
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)

Есть идеи, как использовать параметры выполнения и выбирать их эквиваленты, но с сеансами?

Это работает:

db.execute(select(EventConfigurationDB)).fetchmany(100)

Но это не так:

db.execution_options(stream_results=True).execute(select(EventConfigurationDB)).fetchmany(100)

python-3.x postgresql sqlalchemy fastapi

23.04.2024 14:50

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

109

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете использовать yield_per.

Вот полный пример.

from sqlalchemy import create_engine, select
from sqlalchemy.orm import Session, DeclarativeBase, Mapped, mapped_column


class Base(DeclarativeBase):
    pass

class Something(Base):
    __tablename__ = 'something'
    id: Mapped[int] = mapped_column(primary_key=True)

engine = create_engine('sqlite:///temp.db', echo=True)

Base.metadata.create_all(engine)

with Session(engine) as session:
    session.add_all(Something() for _ in range(100))
    session.commit()


with Session(engine) as session:
    statement = select(Something).execution_options(yield_per=10)
    result = session.execute(statement)
    while 'batch not empty':
        batch = result.fetchmany(10)
        if not batch:
            break
        print(len(batch))

Чтобы ответить на прямой вопрос. Вы можете сделать session.execute(select(Something).execution_options(stream_results=True)).fetchmany(100).

23.04.2024 16:11

Другие вопросы по теме

Производный или вычисляемый столбец из JSON с помощью Drizzle

Как создать два локальных сервера в pgAdmin?

Как создать диаграмму ERD русалки из существующей базы данных с помощью maven?

Postgres – разница в использовании индексов более высокой и низкой мощности, если я хочу выбрать тот же набор данных

Как мне перебирать таблицы в базе данных Postgres, чтобы создать материализованные представления для всех несистемных таблиц?

Запрос PostgreSQL возвращает разные результаты в DbEaver и C# (Dapper/ADO.NET), несмотря на одно и то же соединение с сервером

Psycopg3 динамический sql.Идентификатор с псевдонимом/меткой

Экспорт данных из базы данных sqlite в базу данных postgress в django

Можно ли преобразовать gltf в массив байтов, а затем преобразовать массив обратно в файл?

Подключитесь к хосту базы данных Postgresql в контейнере докеров извне

Как изменить параметры выполнения сеанса и использовать параметр fetchmany

Ответы 1

Другие вопросы по теме

Похожие вопросы