Pour aller plus loin :
le GPU
L'usine à calcul — comprendre quand elle sert, quand elle ne sert à rien, et comment la brancher à vos conteneurs.
Savoir quand un GPU sert — et quand il ne sert à rien — et savoir en donner un à un conteneur
Deux heures, hors fil rouge, ton détendu. À la fin : vous expliquez CPU vs GPU à n'importe qui, vous lisez nvidia-smi comme un tableau de bord, et vos conteneurs voient la carte avec --gpus.
· MLOpsDeux heures, trois temps
· MLOpsL'usine
et l'artisan
Quelques artisans, ou dix mille ouvriers
· MLOpsTrois choses à savoir sur la carte
Première leçon d'honnêteté : copier les données vers l'usine coûte parfois plus cher que le calcul lui-même. Petit calcul = le voyage n'en vaut pas la peine.
· MLOpsLe même geste,
des millions de fois
Un réseau de neurones, sous le capot, c'est presque uniquement des multiplications de matrices : la même opération, répétée sur des millions de nombres indépendants. Exactement le travail d'usine — chaque ouvrier prend sa case, personne n'attend personne.
Le deep learning n'a pas rencontré le GPU par hasard : il a explosé le jour où l'usine a ouvert.
· MLOpsNotre détecteur de fraude n'en veut pas
Notre régression logistique s'entraîne en 2 secondes sur CPU. Un GPU n'y changerait rien — sauf la facture.
Données tabulaires modestes, modèle linéaire, scikit-learn : le CPU suffit très largement. Réclamer un GPU ici, c'est acheter une usine pour visser une étagère. L'honnêteté d'ingénieur commence par savoir dire « je n'en ai pas besoin ».
· MLOpsQuatre situations où l'usine s'impose
· MLOpsCUDA, cuDNN, driver : qui fait quoi
Vous n'écrirez jamais de CUDA — mais savoir qui fait quoi évite 90 % des pannes d'installation.
· MLOpsVotre code ne touche
jamais la carte
PyTorch appelle cuDNN, qui parle CUDA, que le driver traduit pour le silicium. Chaque couche a sa version — et les versions doivent s'aimer entre voisines. La quasi-totalité des « ça ne marche pas » GPU vient de là.
Une installation GPU qui rate, c'est presque toujours deux couches voisines qui ne parlent pas la même version.
· MLOpsLe GPU
en conteneur
Le conteneur
ne voit pas la carte
Par défaut, Docker isole — c'est son métier, c'est ce qu'on a appris à aimer au bloc 4. Mais le GPU est un périphérique de l'hôte : sans pont explicite, le conteneur n'en soupçonne même pas l'existence.
L'isolation est une qualité — jusqu'au jour où l'on veut partager la carte graphique.
"import torch; print(torch.cuda.is_available())"
False # le conteneur est aveugle
$ nvidia-smi
# … la carte est pourtant bien là, sur l'hôte
· MLOpsNVIDIA Container Toolkit, le pont officiel
Le toolkit monte le driver de l'hôte dans le conteneur — la carte devient visible, sans rien installer dans l'image.
Il s'installe une fois sur la machine hôte, se déclare auprès de Docker, puis dort jusqu'à ce qu'un conteneur demande un GPU. Souvenez-vous de la pile : le driver reste sur l'hôte, le toolkit se charge de le prêter proprement.
· MLOpsUn flag, et l'usine s'ouvre
Une fois le toolkit en place, tout tient dans un drapeau au moment du docker run.
# la carte apparaît DANS le conteneur
$ docker run --gpus '"device=0"' … # ou une carte précise
--gpus all prête toutes les cartes ; device=0 en choisit une — le bon réflexe quand la machine est partagée entre binômes, comme cet après-midi.
· MLOpsnvidia-smi :
trois chiffres à lire
L'utilisation — l'usine tourne-t-elle, ou dort-elle pendant que vous payez ? La mémoire — le modèle tient-il dans la VRAM, ou va-t-il déborder ? La température — l'usine chauffe, c'est normal ; elle brûle, ça ne l'est pas.
Le réflexe : nvidia-smi avant d'accuser le code. Une usine à 0 % pendant l'entraînement, c'est un calcul resté chez l'artisan.
+-----------------------------------------------+
| NVIDIA-SMI 550.54 CUDA Version: 12.4 |
|-----------------------------------------------|
| GPU Name Temp Util Memory |
| 0 RTX 4090 62C 97% 18.4/24 GiB |
+-----------------------------------------------+
# util 97 % : l'usine travaille vraiment
· MLOpsnvidia/cuda : -runtime ou -devel ?
- Les bibliothèques CUDA prêtes à l'emploi — de quoi faire tourner PyTorch
- ~2 à 3 Go : la bonne base pour servir et entraîner
- Votre choix par défaut — celui du lab
- Le compilateur nvcc, les headers, tout l'atelier
- ~7 à 8 Go : le double ou le triple, pour rien si vous ne compilez pas
- Réservée à qui écrit ou compile du CUDA
Il existe aussi -base, minimale. La règle du bloc 4 s'applique : la plus petite image qui fait le travail.
· MLOpsDes images qui pèsent
des gigaoctets
Base CUDA + PyTorch GPU : on dépasse vite plusieurs Go. Conséquences très concrètes : premiers pulls interminables, registry qui déborde, déploiements qui traînent. Les réflexes du bloc 4 — couches stables en premier, .dockerignore, multi-stage — valent triple ici.
Votre image CPU pèse quelques centaines de Mo. Sa cousine GPU en pèse dix fois plus — ne la tirez pas pour rien.
votre API fraude (CPU) ~600 Mo
nvidia/cuda:…-runtime ~2,5 Go
+ PyTorch GPU ~7 Go
· MLOpsLa course : CPU contre GPU
chronos simulés — vous referez la vraie mesure au lab, mission 2
· MLOpsLe GPU est un outil,
pas un trophée
Mesurez avant de payer : un chrono CPU, un chrono GPU, et la décision se prend en euros — comme toutes les décisions de la semaine. L'ingénieur qui sait dire « pas besoin de GPU » vaut plus cher que celui qui en réclame un par réflexe.
· MLOpsÀ vous :
1h20 au clavier
Brancher l'usine
Sur la machine GPU partagée : installer le NVIDIA Container Toolkit, déclarer le runtime auprès de Docker, puis prouver que le conteneur voit la carte — nvidia-smi depuis l'intérieur, et torch.cuda.is_available() qui répond enfin True.
Livrable : la sortie de nvidia-smi exécuté dans un conteneur, commitée — la preuve que le pont tient.
Machine partagée : --gpus '"device=0"' et on se répartit les cartes entre binômes.
· MLOpsLa course, en vrai
Construire une image sur base nvidia/cuda:…-runtime, puis entraîner le petit réseau fourni deux fois — device cpu, device cuda — et chronométrer. Refaire enfin la mesure sur la régression logistique de la fraude : constater, chiffres à l'appui, quand l'usine sert et quand elle ne sert à rien.
Livrable : un tableau de temps CPU vs GPU commité — et votre conclusion, en une phrase honnête.
Attendu : ~20× sur le réseau, quasi rien sur la fraude. Si vous trouvez autre chose — encore mieux, expliquez pourquoi.
· MLOpsC'était la formation.
À vous de jouer
Quarante heures, huit blocs, un système vivant — et un GPU dans la poche pour le jour où les matrices grossiront. AI Driven. Human Approved.