Соединение Apache Airflow и Oracle

Я пытаюсь прочитать данные из локальной базы данных Oracle (база данных Oracle 11g, версия 11.2.0.4.0 — 64-битная версия).

Я создал свой собственный образ докера:

# Use the base Apache Airflow image
FROM apache/airflow:2.8.3
# Set environment variables for the Oracle Instant Client
ENV ORACLE_HOME=/opt/oracle
ENV LD_LIBRARY_PATH=$ORACLE_HOME/lib
# Switch to the root user temporarily
USER root
# Install required packages
RUN apt-get update && apt-get install -y \
    unzip \
    libaio1 \
    && rm -rf /var/lib/apt/lists/*
# Create the Oracle directory with proper permissions
RUN mkdir -p $ORACLE_HOME && chown -R airflow: $ORACLE_HOME
# Create the tmp directory with proper permissions
RUN mkdir -p /tmp && chown -R airflow: /tmp
# Switch back to a non-root user (e.g., "airflow")
USER airflow
# Install Python packages required for Oracle client and Airflow Oracle provider
RUN pip install oracledb apache-airflow-providers-oracle pandas sqlalchemy
# Download and install the Oracle Instant Client
# https://www.oracle.com/de/database/technologies/instant-client/linux-x86-64-downloads.html
COPY instantclient-basic-linux.x64-19.22.0.0.0dbru.zip /tmp/
COPY instantclient-sdk-linux.x64-19.22.0.0.0dbru.zip /tmp/
RUN unzip /tmp/instantclient-basic-linux.x64-19.22.0.0.0dbru.zip -d $ORACLE_HOME && \
    unzip -o /tmp/instantclient-sdk-linux.x64-19.22.0.0.0dbru.zip -d $ORACLE_HOME 
# Delete ZIP Files
RUN rm -rf /tmp/instantclient-basic-linux.x64-19.22.0.0.0dbru.zip /tmp/instantclient-sdk-linux.x64-19.22.0.0.0dbru.zip
# Set environment variables for Oracle Instant Client
ENV PATH=$PATH:$ORACLE_HOME
ENV ORACLE_VERSION=19.22

Вкратце: в стандартный образ добавлены oracledb apache-airflow-providers-oracle pandas sqlalchemy, а также Instantclient-basic-linux.x64-19.22.0.0.0dbru.zip с oracle.com.

Сборка docker compose работает, init docker compose работает, компоновка docker работает без ошибок.

Oracle отображается как тип соединения, и я создал соединение:

Мой тестовый DAG выглядит так:

from datetime import datetime
from airflow import DAG
from airflow.decorators import task
from airflow.providers.oracle.hooks.oracle import OracleHook

table_name = "DB.TABLE"
@task
def get_data_from_oracle():
    oracle_hook=OracleHook(oracle_conn_id='Oracle_***')
    data = oracle_hook.get_pandas_df(sql=f"SELECT COUNT(1) FROM {table_name}")
    return data.to_dict()

with DAG('oracle_test', start_date=datetime(2022, 1, 1), schedule_interval='@once') as dag:
    data = get_data_from_oracle()

Если я запущу указанный DAG, я получу ошибки, которые не смогу устранить. Он работает около минуты и завершается с такими ошибками: (я предполагаю, что время ожидания истекло)

[2024-03-21T10:27:31.754+0000] {standard_task_runner.py:107} ОШИБКА — не удалось выполнить задание 8 для задачи get_data_from_oracle (DPY-6005: невозможно подключиться к базе данных (CONNECTION_ID=P26GiMCTIFWWPDhhkB4vZQ==). DPY-4011: база данных или сеть закрыли соединение. [Errno 104] Сброс соединения с помощью узла Помощь: https://python-oracledb.readthedocs.io/en/latest/user_guide/troubleshooting.html#dpy-4011; 534)

Или, в зависимости от конфигурации: (без тайм-аута)

[2024-03-21, 16:57:08 CET] {standard_task_runner.py:107} ОШИБКА — не удалось выполнить задание 16 для задачи get_data_from_oracle (DPY-6005: невозможно подключиться к базе данных (CONNECTION_ID=Ma2uz0YYUUhkdOMBsNNS0w==). DPY-6003: SID «**» не зарегистрирован в прослушивателе на хосте «10...» через порт 1524. (Аналогично ORA-12505); 5827)

Я дважды проверил IP, пинг, SID (через запрос) и так далее.

Я предполагаю, что делаю что-то ужасно неправильное либо

1. Настройка контейнера
2. ДАГ
3. Связь с Oracle (что правда неясно в документация)

В любом случае интернет-исследования не привели к решению. Если кто-нибудь может дать мне советы или рабочий способ подключения к базе данных Oracle, я был бы благодарен. Пожалуйста, не заставляйте меня возвращаться в SSIS.

Обновление: тот же запрос к БД с Oracle Database 12c Release 12.1.0.1.0 — 64-битная версия работает без проблем. Похоже, проблема в версии/драйверах.