Linux-Host: Installieren Sie den NVIDIA-Treiber und Docker ≥ 23, nehmen Sie den Benutzer in die Gruppe docker auf (danach neu anmelden), installieren Sie das NVIDIA Container Toolkit und konfigurieren Sie die Docker-Runtime.

sudo usermod -aG docker "$USER"
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Unter Windows läuft der Container in einer Linux-VM unter WSL 2 (Windows 10 21H2 oder neuer). Wichtig: Der NVIDIA-Treiber wird nur unter Windows installiert – niemals innerhalb von WSL; die GPU wird automatisch durchgereicht.

wsl --install -d Ubuntu-22.04
wsl --update

Aktivieren Sie bei Docker Desktop die WSL-2-Engine und die WSL-Integration der Distribution; ein Container Toolkit ist dann nicht nötig. Ohne Docker Desktop installieren Sie Docker Engine in der Distribution, nehmen den Benutzer in die Gruppe docker auf, aktivieren systemd in /etc/wsl.conf, falls der Dienst nicht startet, starten WSL neu und installieren das NVIDIA Container Toolkit.

Gemeinsame Prüfung für alle drei Wege – dieser Befehl muss die Grafikkarte anzeigen. Schlägt er fehl, ist jede weitere Einrichtung zwecklos:

docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu22.04 nvidia-smi