Ollama + Doker + Open WebUI

Cet article va parler de la mise en place d’Ollama et de WebUI sous docker via Proxmox.

L’architecture :

[ Open WebUI ] <—> [ Ollama ] <—> [ RTX 4090 ]
       :3000                         :11434

✅ Pre-requis :

Une VM sous Ubuntu et une Carte graphique.

✅ Installation :

On vérifie si le driver est déjà installé, ici Nvidia.

nvidia-smi

✅ Installation de docker :

curl -fsSL https://get.docker.com | sh

✅ Les droits :

sudo usermod -aG docker $USER

✅ Installation de NVIDIA Container Toolkit :

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

✅ Installer Toolkit :

 apt update
 apt install -y nvidia-container-toolkit

✅ Configuration de docker :

nvidia-ctk runtime configure --runtime=docker
systemctl restart docker

✅ Lancer Ollama avec le GPU et demarrage du conteneur :

docker volume create ollama

docker run -d \
--gpus all \
-v ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
--restart unless-stopped \
ollama/ollama

✅ On donwload un Model :

docker exec -it ollama ollama pull qwen3.6:35b

✅ On va créer le volume open WebUi:

docker volume create open-webui

✅ Lancement de l’interface :

On connecte Open WebUI à Ollama via host Docker

docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
--name open-webui \
--restart unless-stopped \
ghcr.io/open-webui/open-webui:main

✅ On accède via le web a openweb

http://IP_DU_SERVEUR:3000

Vous devriez obtenir cette page.

On vous demandera de créer un compte admin.

La prochain article concernera la mise en place du proxy pour y accéder via l’application Android Conduit

https://play.google.com/store/apps/details?id=app.cogwheel.conduit&hl=fr