Как обрабатывать тип данных SQL_VARIANT в SQLAlchemy?
Мне нужно получить все данные из таблицы, созданной в sql_server, через Python. Проблема, с которой я столкнулся, заключается в том, что тип данных одного столбца в sql_server имеет значение «sql_variant». После поиска/НИОКР по типу данных sql_varinat я узнал, что «sql_variant может хранить любые данные (дата, дата и время, строка , int, float).
В моем случае столбец содержит числа datetime, int и float.
Итак, когда я пытаюсь получить данные в Python, я получил следующую ошибку: - sqlalchemy.exc.ProgrammingError: (pyodbc.ProgrammingError) («Тип ODBC SQL -150 еще не поддерживается. Column-index=6 type=-150», «HY106») (Справочная информация об этой ошибке: https:/ /sqlalche.me/e/20/f405)
Я попробовал все типы данных (строка, int, float, datatime) в Python, чтобы получить данные. Но ни один из них не работает.
Код sql_server: - создать таблицу имя_таблицы( [fan_attribute.value] sql_variant NULL );
Код Python: - из импорта sqlalchemy Столбец, целое число, строка, DateTime из sqlalchemy.ext.declarative import declarative_base
from datetime import datetime
from sqlmodel import Field, PrimaryKeyConstraint, SQLModel
Base = declarative_base()
class ModelName(Base):
__table_args__ = ({"schema": "can't disclose"})
__tablename__ = "table_name"
value = Column("fan_attribute.value", String)
Есть ли способ получить столбец sql_variant в Python.
Такое ощущение, что этот вопрос был написан LLM...
Предоставьте достаточно кода, чтобы другие могли лучше понять или воспроизвести проблему.
Можно объяснить недостатки использования sql_variant в четко определенной схеме базы данных. Если вы не можете дифференцировать и конвертировать значения в T-SQL на стороне сервера, вы все равно сможете что-то сделать с PyODBC Connection.add_output_converter(...). Удачи!
Вам нужно будет изучить значения в этом столбце и выяснить, какой «главный» тип будет работать. Большинство вещей можно преобразовать в строки.
один из способов решения — создать столбец для каждого «типа» варианта, что-то вроде: case when SQL_VARIANT_PROPERTY(col, 'BaseType') IN ('char', ..., 'nvarchar') then CONVERT(NVARCHAR(MAX), col) END AS variantAsString, ..., а затем что-то сделать с этим в коде Python
В сообщении сообщается, что PyODBC — драйвер базы данных для подключения к MS-SQL — не может обрабатывать этот тип данных. Вы можете попробовать другой драйвер (mssql-python?), в противном случае вам, возможно, придется обрабатывать его на стороне MS-SQL - возможно, создавая временную таблицу, которая использует приемлемые типы данных.
Ответы 1
Как указано в вопросе, pyodbc в настоящее время не может получить столбцы SQL_VARIANT. Проблема обсуждается на GitHub здесь , а патч был отправлен здесь, но он еще не объединен.
pymssql не генерирует исключение при доступе к столбцам SQL_VARIANT, но он страдает от той же проблемы, что и pyodbc в проблеме , упомянутой выше , поскольку он возвращает только необработанные байты без указания фактического (вариантного) типа данных:
from sqlalchemy import create_engine
connection_url = "mssql+pymssql://scott:tiger^[email protected]/test"
engine = create_engine(connection_url)
with engine.begin() as conn:
conn.exec_driver_sql("DROP TABLE IF EXISTS sqlvariant_test")
conn.exec_driver_sql("CREATE TABLE sqlvariant_test (val_type varchar(20) primary key, val sql_variant)")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('datetime2', CAST('2024-08-25 12:13:14.01234' AS datetime2))")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('int', 1685221191)")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('varchar', 'Gord')")
with engine.begin() as conn:
result = conn.exec_driver_sql("SELECT val_type, val FROM sqlvariant_test")
for row in result:
print(row.val)
"""
b'\x08\x8bynf\x00\x00\x00\xd7\xb1\x00\x00\x00\x00\x07`'
b'Gord'
b'Gord'
"""
Однако диалект sqlalchemy-pytds, похоже, возвращает правильные типы:
from sqlalchemy import create_engine
connection_url = "mssql+pytds://scott:tiger^[email protected]/test"
engine = create_engine(connection_url)
with engine.begin() as conn:
conn.exec_driver_sql("DROP TABLE IF EXISTS sqlvariant_test")
conn.exec_driver_sql("CREATE TABLE sqlvariant_test (val_type varchar(20) primary key, val sql_variant)")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('datetime2', CAST('2024-08-25 12:13:14.01234' AS datetime2))")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('int', 1685221191)")
conn.exec_driver_sql("INSERT INTO sqlvariant_test (val_type, val) VALUES ('varchar', 'Gord')")
with engine.begin() as conn:
result = conn.exec_driver_sql("SELECT val_type, val FROM sqlvariant_test")
for row in result:
print(row.val)
"""
2024-08-25 12:13:14.012340
1685221191
Gord
"""
Обратите внимание, что диалект sqlalchemy-pytds в настоящее время не тестируется и не поддерживается командой SQLAlchemy.
Итак, что содержит столбец? финики, интсы, бабушкины секретные рецепты? если это тот же тип, вы можете просто ПРЕОБРАЗОВАТЬ?