Проблема кодирования при запросе данных из TeradataDB в фрейм данных в Python
У меня есть проблема, которую я не могу решить. У нас есть таблица в базе данных Teradata. Допустим, в нашей таблице всего одна строка (Świdnica – польское слово) и один столбец (адреса).
Столбец «Адреса» определяется как:
addresses VARCHAR(80) CHARACTER SET LATIN NOT CASESPECIFIC
Допустим, мы запрашиваем данные:
select addresses from WH_table
и в Teradata Studio мы получаем хороший результат:
ŚWIDNICA
но когда я пытаюсь выполнить запрос, используя расширение SQLAlchemy с именем teradatasqlalchemy, я получаю:
'\x8cWIDNICA'
Мой код выглядит следующим образом:
import sqlalchemy as sqlal
import pandas as pd
engine = sqlal.create_engine('teradatasql://ip_to_my_db/?user=user&password=pass!&tmode=TERA', pool_size=5)
conn = engine.connect()
try:
query = """select addresses from WH_table"""
data = pd.read_sql(query, con = conn)
print(data)
except Exception as e:
print(e)
Насколько я знаю, запрос teradatasqlalchemy возвращает данные в формате UTF-8. Я пробовал кодировать и декодировать данные с использованием UTF8, Latin1, cp1252 и iso-8859-1, но мне все еще не удается заставить их просто возвращать «ŚWIDNICA». Я мог бы заменить \x8c на Ś, но, вероятно, как и следовало ожидать. Это будет работать для пары примеров, а не для всей таблицы, содержащей более тысячи строк.
Технически это не «проблема при запросе», а проблема с определением и загрузкой таблицы. ЛАТИНСКИЕ ЗАГЛАВНЫЕ БУКВЫ S С ОСТРЫМИ (U+015A) не входят в репертуар Teradata LATIN. Чтобы правильно сохранить это значение, столбец должен быть определен как НАБОР СИМВОЛОВ UNICODE, а загрузка должна выполняться с использованием набора символов сеанса UTF8 или UTF16 (с соответствующим переводом из набора символов клиента в зависимости от источника). Судя по всему, это данные CP1250, загруженные с набором символов сеанса ASCII (подразумевается, что все данные — это Teradata LATIN, но это не так).
Хотя возможно найти обходной путь, лучше исправить дизайн и процесс загрузки. Возможно, вам удастся выгрузить существующие данные с помощью какого-либо другого инструмента, используя набор символов сеанса ASCII, а затем правильно загрузить их как Unicode.
@Fred Это именно то, чего я боялся, потому что не имел представления о процессе загрузки этой таблицы и подумал, что это может быть проблема с неправильно загруженными данными. Тогда это будет долгая неделя. Если я найду обходной путь, я опубликую его как решение.
@Fred - Как это вообще можно загрузить в таблицу LATIN? Разве вы не получите сообщение об ошибке о непереводимом символе?
@Andrew — Когда вы используете набор символов сеанса «ASCII», устаревшее поведение заключается в том, чтобы просто предполагать, что данные на клиенте имеют формат Teradata LATIN, и сохранять/извлекать байты как есть, без перевода (вместо того, чтобы ограничивать вас фактическим 7-битным ASCII). . Хотя этот подход уже давно устарел, он по-прежнему возможен для некоторых конфигураций клиента/драйвера/базы данных.
Возможно, используйте функцию CHAR2HEXINT в запросе, чтобы получить данные в виде шестнадцатеричной строки (вдвое длиннее), затем преобразовать ее в байтовый объект и затем декодировать байты как cp1250?
Ответы 1
Используя ответы из комментариев под исходным вопросом, я нашел способ заставить его работать. Это не самый оптимизированный ответ, но он работает для небольших фреймов данных.
import sqlalchemy as sqlal
import pandas as pd
engine = sqlal.create_engine('teradatasql://ip_to_my_db/?user=user&password=pass!&tmode=TERA', pool_size=5)
conn = engine.connect()
try:
query = """select addresses from WH_table"""
data = pd.read_sql(query, con = conn) # read data from db using query
for column, series in data.items():
for item in series:
# change string to hex
str_to_hex = ''.join(hex(ord(x))[2:] for x in item)
# change hex to bytes and decode using encoding of your choice
hex_to_word = bytes.fromhex(str_to_hex).decode('cp1250')
# replace the word in df
series.replace(item, hex_to_word, inplace = True)
except Exception as e:
print(e)
Это хорошо работает для небольших df, но просмотр каждого элемента в df не очень эффективен, как вы можете себе представить.
Это похоже на cp1250.