Есть ли способ загрузить данные прямо в таблицу Oracle из Pandas.
В настоящее время я записываю набор данных в файл csv, а затем загружаю таблицу. Я хотел бы обойти шаг «запись в csv».
Я использую cx_Oracle
для подключения к базе данных Oracle. url передается как параметр при вызове скрипта python. результат будет сохранен как фрейм данных pandas в переменной dataset
. Макет набора данных и определение таблицы одинаковы.
import cx_Oracle as cx
response = requests.get(url)
data = response.json()
dataset = json_normalize(data['results'])
Пожалуйста, дайте мне знать, если вам потребуется что-то еще.
@APC, когда вам просто нужно выполнить какую-то операцию, вы можете читать прямо из БД или источника.
@harsh - Я был или пытался быть юмористическим. Приносим извинения за возможные неудобства.
Приносим извинения, если были какие-то недоразумения .. Вопрос в том, чтобы писать в Oracle из pandas dataframe, а не читать из Oracle. В настоящее время я записываю его в файл csv, а затем в Oracle. Но я хотел бы знать, смогу ли я обойти этот шаг. Было бы здорово, если бы я мог обойти его для некоторых загрузок данных. Для большинства процессов в конвейере мы записываем его в csv.
Вы пробовали функцию to_sql из модуля pandas?
from sqlalchemy import create_engine
engine = create_engine('oracle://[user]:[pass]@[host]:[port]/[schema]', echo=False)
dataset.to_sql(name='target_table',con=engine ,if_exists = 'append', index=False)
Нет, вопрос пишите в Oracle (таблица загрузки из Pandas)
@: harsh - собственно вопрос является о записи из панд в таблицу Oracle. Так что это кажется разумным ответом.
@ F.J Я пробовал, но там написано: «InvalidRequestError: не удалось отразить: запрошенные таблицы недоступны в Engine»; Но имя таблицы присутствует и то же самое, потому что сначала я получил другое сообщение с недопустимым идентификатором: «DatabaseError: (cx_Oracle.DatabaseError) ORA-00904:« Population »: недопустимый идентификатор», и я исправил имя столбца.
Виноват. Он работает, когда я помещаю if_exists = 'append', я думал, что могу обрезать и перезагрузить, если я поставлю if_exists = 'replace', который, похоже, не работает.
Практически каждая операция в каждой строке конвейера данных влечет за собой создание файла CSV и передачу его следующему шагу.