Как автоматически вытащить модель при создании контейнера?

Используйте собственный сценарий точки входа для загрузки модели при запуске контейнера. Модель будет сохранена при монтировании тома, поэтому при последующих запусках это будет происходить быстро.

version: '3.7'

services:
  ollama:
    image: ollama/ollama:latest
    ports:
        - 11434:11434
    volumes:
        - ./ollama/ollama:/root/.ollama
        - ./entrypoint.sh:/entrypoint.sh
    container_name: ollama
    pull_policy: always
    tty: true
    restart: always
    entrypoint: ["/usr/bin/bash", "/entrypoint.sh"]

Ключевые изменения:

1. Добавил entrypoint.
2. Добавлено крепление тома для entrypoint.sh.

Вот содержание entrypoint.sh:

#!/bin/bash

# Start Ollama in the background.
/bin/ollama serve &
# Record Process ID.
pid=$!

# Pause for Ollama to start.
sleep 5

echo "🔴 Retrieve LLAMA3 model..."
ollama pull llama3
echo "🟢 Done!"

# Wait for Ollama process to finish.
wait $pid

Это то, что сработало для меня без необходимости дополнительного монтирования для сценария входа.

services:
  ollama:
    container_name: ollama
    pull_policy: always
    build:
      context: .
      dockerfile: ollama.dockerfile
    volumes:
      - type: bind
        source: [your local path here]
        target: /root/.ollama
    ports:
      - "11434:11434"
    restart: always

FROM ollama/ollama

# Copy the script to the docker image
COPY ./wait_for_ollama.sh /wait_for_ollama.sh

# Ensure the script is executable
RUN chmod +x /wait_for_ollama.sh

EXPOSE 11434
ENTRYPOINT ["/bin/sh", "/wait_for_ollama.sh"]

Затем я использовал скрипт, предоставленный @datawookie как wait_for_ollama.sh в том же каталоге, что и файл docker.

#!/bin/bash

# Start Ollama in the background.
ollama serve &
# Record Process ID.
pid=$!

# Pause for Ollama to start.
sleep 5

echo "🔴 Retrieving model..."
ollama pull phi3:medium
echo "🟢 Done!"

# Wait for Ollama process to finish.
wait $pid