Pour aller plus loin :
le GPUGoing further:
the GPU

Le driver est le contremaître : il vit sur l'hôte, et lui seul parle à la carte. Rien d'autre ne marchera tant que cette commande ne répond pas. The driver is the foreman: it lives on the host, and it alone talks to the card. Nothing else will work until this command answers.

nvidia-smi

Le pont officiel entre Docker et la carte — installé une fois par machine, jamais dans l'image. Ce sont les commandes officielles pour Ubuntu / Debian. The official bridge between Docker and the card — installed once per machine, never inside the image. These are the official commands for Ubuntu / Debian.

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
nvidia-ctk --version

Le toolkit est installé, mais Docker ne le connaît pas encore : une commande de configuration, un redémarrage du démon, et le drapeau --gpus devient disponible. The toolkit is installed, but Docker does not know it yet: one configuration command, one daemon restart, and the --gpus flag becomes available.

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
docker info | grep -i runtimes

Le moment de vérité : un conteneur CUDA officiel, le drapeau --gpus all, et nvidia-smi exécuté depuis l'intérieur. Sur machine partagée, le réflexe est --gpus '"device=0"' pour ne prendre qu'une carte. The moment of truth: an official CUDA container, the --gpus all flag, and nvidia-smi executed from the inside. On a shared machine, the reflex is --gpus '"device=0"' to claim a single card.

docker run --rm --gpus all nvidia/cuda:12.4.1-base-ubuntu22.04 nvidia-smi

Une phrase suffit : -runtime sait exécuter du CUDA, -devel sait le compiler — et pèse trois fois plus. Sauf besoin explicite de compilation, prenez runtime. Vérifiez-le sur la balance : One sentence is enough: -runtime can run CUDA, -devel can compile it — and weighs three times as much. Unless you explicitly need to compile, pick runtime. Check it on the scale:

docker pull nvidia/cuda:12.4.1-runtime-ubuntu22.04
docker pull nvidia/cuda:12.4.1-devel-ubuntu22.04
docker images nvidia/cuda

Le fichier entier, à la racine du dépôt : une multiplication de matrices 4096 × 4096 chronométrée sur CPU, puis sur GPU si la carte est visible. Le synchronize() est essentiel — sans lui, on chronomètre le lancement du calcul, pas le calcul. The whole file, at the repo root: a 4096 × 4096 matrix multiplication timed on CPU, then on GPU if the card is visible. The synchronize() is essential — without it you time the launch of the computation, not the computation.

"""Time a 4096x4096 matmul on CPU, then on GPU if available."""
import time

import torch

SIZE = 4096
ROUNDS = 10


def bench(device):
    a = torch.randn(SIZE, SIZE, device=device)
    b = torch.randn(SIZE, SIZE, device=device)
    torch.matmul(a, b)  # warmup
    if device == "cuda":
        torch.cuda.synchronize()
    start = time.perf_counter()
    for _ in range(ROUNDS):
        torch.matmul(a, b)
    if device == "cuda":
        torch.cuda.synchronize()
    return (time.perf_counter() - start) / ROUNDS


cpu_time = bench("cpu")
print(f"cpu:  {cpu_time * 1000:.1f} ms per matmul")

if torch.cuda.is_available():
    gpu_time = bench("cuda")
    print(f"cuda: {gpu_time * 1000:.1f} ms per matmul")
    print(f"speedup: x{cpu_time / gpu_time:.1f}")
else:
    print("cuda not available in this container")

Même image, même script, un seul drapeau de différence. Et le rappel honnête : sur la régression logistique de la fraude (2 s de CPU au total), ce gain n'existe pas — aucune matrice géante à paralléliser. Mesurez, puis décidez en euros. Same image, same script, one flag of difference. And the honest reminder: on the fraud project's logistic regression (2 s of CPU in total), this gain does not exist — no giant matrix to parallelize. Measure, then decide in euros.

docker run --rm -v "$PWD":/work -w /work pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime python bench.py
docker run --rm --gpus all -v "$PWD":/work -w /work pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime python bench.py