Как запустить программу на Python с помощью Singularity из контейнера докеров?
Я создал контейнер докеров для своей чистой программы на Python и установил python main.py для выполнения при запуске контейнера. Запуск контейнера работает, как и ожидалось, на моем локальном компьютере. Однако я хочу запустить контейнер в высокопроизводительном кластере моего учреждения. Компьютеры кластера используют Сингулярность, который я использую для извлечения своего образа докера, размещенного на Dockerhub (репозиторий — darshank11/ga_paci_final). Однако, когда я пытаюсь запустить контейнер Singularity, я получаю следующую ошибку: python3: can't open file 'main.py': [Errno 2] No such file or directory.
Я попытался изменить базовый образ в Dockerfile, например, с FROM python:latest на FROM ubuntu:latest.. Я убедился, что док-контейнер работает на моей локальной машине, а затем попросил одного из моих коллег вытащить контейнер из Dockerhub и запустить это тоже. Все работает нормально, пока я не доберусь до Singularity.
Вот мой файл докера:
FROM ubuntu:16.04
RUN apt-get update -y && \
apt-get install -y python3-pip python3-dev
RUN mkdir src
WORKDIR /src
COPY . /src
RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt
CMD ["python3", "-u", "main.py"]
Файл main.py хранится в рабочем каталоге в локальном каталоге, а затем копируется в каталог src. Кроме того, поскольку я установил WORKDIR /src, я должен иметь возможность бегать python3 main.py. В обычном докер-контейнере все работает, только конвертация с использованием сингулярности вызывает проблемы.
Образ сингулярности создается с использованием Dockerfile/образа Docker, но некоторые вещи не переносятся. Контекст рабочего каталога — одна из таких вещей.
Ответы 1
Вы получаете эту ошибку, потому что контекст выполнения не соответствует вашим ожиданиям. Путь выполнения в сингулярности — это текущий каталог в операционной системе хоста (например, ~/ga_paci_final), который был смонтирован в образ сингулярности.
Как упоминалось в комментариях, одно из решений — указать полный путь к файлу python в операторе docker CMD. Другой вариант — изменить блок %runscript файла определения сингулярности примерно так:
%runscript
cd /src
python3 -u main.py
Таким образом вы гарантируете, что среда запуска идентична между Docker и Singularity.
Должен ли я включать рецепт Dockerfile и Singularity в каталог моего проекта?
Это зависит! Если вы не хотите манипулировать несколькими файлами определения контейнера и при этом работать как с Docker, так и с Singularity, вы можете выполнить сборку непосредственно из образа Docker: sudo singularity build ga_paci.simg docker://darshank11/ga_paci_final:first_try. В этом случае вместо того, чтобы указывать полный путь, как указано выше, вместо этого вызовите сценарий bash, который обеспечивает правильную настройку среды. Упрощенный пример здесь: gist.github.com/tsnowlan/bd31dd497b24d1a48ce64d6befdfc215
где вы сохранили файл main.py? если под /src, можете попробовать
CMD ["python3", "-u", "/src/main.py"]?