Intelligence artificielle · Chapitre 36 · Cours 04

Découvrir les GPU, la RAM et la VRAM

Pourquoi deux ordinateurs équipés de la même quantité de mémoire peuvent-ils obtenir des performances très différentes avec une intelligence artificielle locale ? Pour le comprendre, il faut examiner le fonctionnement du GPU, de la RAM, de la VRAM et les échanges de données entre ces composants.

À la fin de ce cours, vous saurez :

  • Expliquer le rôle du CPU et du GPU dans l’exécution d’un modèle d’IA.
  • Distinguer la mémoire vive, la mémoire vidéo et la mémoire unifiée.
  • Comprendre pourquoi la bande passante mémoire influence les performances.
  • Identifier les conséquences des transferts entre RAM et VRAM.
  • Comprendre le principe du chargement partiel sur GPU.
  • Observer l’utilisation des ressources pendant une inférence.
  • Interpréter les signes d’une saturation mémoire.
  • Comparer deux configurations matérielles selon un besoin précis.
Prérequis

Avoir étudié le cours 03, consacré aux besoins matériels d’une IA locale. Ce cours approfondit le fonctionnement des composants et leurs interactions.

1. Comment les composants travaillent-ils ensemble ?

Lorsqu’un modèle de langage fonctionne localement, plusieurs composants participent à son exécution.

Le CPU pilote notamment les opérations générales. Le GPU, lorsqu’il est utilisé, peut effectuer une grande partie des calculs numériques. Les mémoires conservent les paramètres du modèle et les données nécessaires aux opérations.

Le stockage contient les fichiers du modèle avant leur chargement.

STOCKAGE (SSD) | | Chargement du modèle v MÉMOIRE RAM | +——+——+ | | v v CPU TRANSFERT VERS GPU | v VRAM | v CALCULS GPU | v RÉSULTAT

Ce schéma représente une architecture classique avec GPU dédié. Sur un système à mémoire unifiée, l’organisation des échanges peut être différente.

Idée essentielle

Les performances d’une IA locale ne dépendent pas uniquement de la puissance de calcul. Elles dépendent aussi de la capacité des mémoires, de la vitesse à laquelle les données circulent et de la manière dont le logiciel répartit les opérations.

2. Le CPU : le processeur généraliste

Le CPU, ou Central Processing Unit, est conçu pour exécuter une grande variété d’instructions.

Il dispose généralement d’un nombre relativement limité de cœurs complexes, capables de traiter efficacement des tâches diversifiées.

2.1. Son rôle dans une IA locale

  • Exécuter le système d’exploitation et le moteur d’inférence.
  • Préparer les données d’entrée.
  • Gérer les opérations de chargement et de coordination.
  • Effectuer les calculs du modèle lorsque l’inférence utilise le CPU.
  • Participer à une exécution répartie entre CPU et GPU.

2.2. Le CPU peut-il exécuter un modèle seul ?

Oui. Certains moteurs d’inférence sont optimisés pour les processeurs classiques.

La vitesse dépend de l’architecture du CPU, de ses instructions vectorielles, de sa bande passante mémoire et des optimisations du logiciel.

Un CPU récent peut donc offrir une expérience satisfaisante avec certains modèles compacts.

3. Le GPU : un accélérateur de calcul parallèle

Le GPU, ou Graphics Processing Unit, est conçu pour effectuer de nombreuses opérations en parallèle.

Cette caractéristique est particulièrement utile pour les opérations matricielles rencontrées dans les réseaux de neurones.

3.1. Pourquoi le GPU est-il intéressant pour l’IA ?

Les modèles de langage et de génération d’images réalisent un grand nombre d’opérations mathématiques répétitives.

Un GPU adapté peut traiter efficacement ces opérations grâce à son architecture parallèle et à ses unités spécialisées.

3.2. La puissance théorique ne suffit pas

Deux GPU possédant une puissance de calcul théorique différente ne présentent pas nécessairement le même écart de performance avec un modèle donné.

Les résultats dépendent aussi :

  • De la bande passante mémoire.
  • De la capacité de VRAM.
  • Du format numérique utilisé.
  • De la prise en charge des opérations par le moteur.
  • Des transferts de données.
  • De l’architecture du modèle.
Exemple

Un GPU dispose d’une grande puissance de calcul, mais sa mémoire est insuffisante pour charger entièrement un modèle.

Le moteur doit alors utiliser une partie de la RAM ou répartir les calculs. Les transferts supplémentaires peuvent réduire fortement le gain attendu.

4. Comprendre les différents types de GPU

4.1. Le GPU intégré

Un GPU intégré est incorporé au processeur ou à une même puce.

Il utilise généralement une mémoire partagée avec le système, selon l’architecture matérielle.

Il peut convenir à certaines applications d’IA locale, notamment avec des modèles compacts.

4.2. Le GPU dédié

Un GPU dédié est un composant distinct, souvent équipé de sa propre mémoire vidéo.

Il peut disposer d’une bande passante mémoire importante et d’unités de calcul spécialisées.

Sa compatibilité avec les logiciels d’IA doit néanmoins être vérifiée.

4.3. Les architectures à mémoire unifiée

Certains systèmes utilisent une mémoire accessible à plusieurs processeurs, notamment au CPU et au GPU.

Cette organisation peut limiter certaines copies de données, mais ne supprime pas toutes les contraintes de capacité, de bande passante ou de partage des ressources.

Architecture Organisation mémoire Point de vigilance
GPU intégré classique Mémoire généralement partagée avec le système. Capacité et bande passante partagées.
GPU dédié VRAM propre au GPU. Capacité de VRAM et transferts avec la RAM.
Mémoire unifiée Espace mémoire commun selon l’architecture. Ressources partagées et compatibilité du moteur.

5. La RAM : la mémoire de travail du système

La RAM conserve temporairement les données utilisées par le système d’exploitation et les applications.

Dans une exécution d’IA sur CPU, elle peut contenir les paramètres du modèle, les caches et les données intermédiaires.

5.1. Capacité totale et mémoire disponible

La quantité de RAM installée n’est pas identique à la mémoire libre.

Le système d’exploitation, le navigateur et les applications utilisent déjà une partie des ressources.

5.2. Exemple de répartition

Un ordinateur possède 16 Go de RAM.

RAM installée : 16 Go Système et applications : 5 Go Différence théorique : 11 Go

Cette différence ne représente pas une quantité garantie pour l’IA. Le système peut utiliser de la mémoire supplémentaire et conserver des données en cache.

5.3. Que se passe-t-il lorsque la RAM manque ?

Selon le système et le moteur, l’ordinateur peut :

  • Utiliser davantage la mémoire virtuelle sur disque.
  • Ralentir fortement.
  • Interrompre certains processus.
  • Refuser de charger le modèle.

La mémoire virtuelle ne constitue pas un remplacement équivalent de la RAM physique.

6. La VRAM : la mémoire utilisée par le GPU

La VRAM est la mémoire associée à un GPU dédié. Elle permet de conserver des données proches des unités de calcul graphique.

Lors de l’inférence, elle peut contenir :

  • Les poids du modèle chargés sur GPU.
  • Les données d’entrée et de sortie intermédiaires.
  • Les espaces de travail nécessaires aux calculs.
  • Les caches utilisés pendant la génération.

6.1. Pourquoi la capacité de VRAM est-elle déterminante ?

Si les ressources nécessaires tiennent dans la VRAM disponible, le moteur peut limiter les transferts vers d’autres espaces mémoire.

Lorsque cette capacité est insuffisante, il faut utiliser une autre stratégie d’exécution ou choisir un modèle moins exigeant.

6.2. Exemple avec une carte de 8 Go

Une carte dispose de 8 Go de VRAM.

Un modèle occupe théoriquement 5 Go pour ses poids, mais nécessite également de la mémoire pour ses caches et les opérations du moteur.

Il ne suffit donc pas de comparer 5 Go à 8 Go pour conclure que le modèle fonctionnera correctement.

Erreur fréquente

La taille du fichier du modèle ne correspond pas nécessairement à la quantité de VRAM requise. Il faut considérer l’ensemble de la mémoire utilisée pendant l’exécution.

7. Comprendre la bande passante mémoire

La bande passante représente la quantité de données qu’un système mémoire peut transférer par unité de temps.

Elle est généralement exprimée en gigaoctets par seconde (Go/s).

7.1. Pourquoi est-elle importante ?

Lors de la génération de texte, certaines opérations doivent accéder fréquemment aux poids du modèle.

Dans plusieurs scénarios d’inférence, notamment avec un petit nombre de séquences traitées simultanément, la vitesse peut être limitée par la bande passante mémoire.

7.2. Exemple théorique

Supposons que chaque token nécessite de lire environ 6 Go de poids depuis une mémoire offrant une bande passante effective de 120 Go/s.

Volume lu par token : 6 Go Bande passante : 120 Go/s Temps minimal théorique : 6 ÷ 120 = 0,05 seconde Débit maximal théorique : 1 ÷ 0,05 = 20 tokens/s

Ce résultat est une borne théorique dans un modèle très simplifié. Il ne constitue pas une prédiction de performance réelle.

Les calculs, les caches, les autres transferts, les accès mémoire et les optimisations modifient le débit observé.

À comprendre

La bande passante mesure la capacité de transfert de données. La capacité mémoire mesure la quantité de données pouvant être conservée. Une mémoire volumineuse n’est donc pas nécessairement rapide.

8. Comprendre la latence et le débit

La latence et le débit décrivent deux aspects différents des performances.

8.1. La latence

La latence correspond au délai nécessaire pour obtenir un résultat ou une étape du résultat.

Pour une IA conversationnelle, on peut notamment mesurer le temps avant le premier token.

8.2. Le débit de génération

Le débit correspond au nombre de tokens produits par seconde.

Nombre de tokens générés : 300 Durée de génération : 20 secondes Débit moyen : 300 ÷ 20 = 15 tokens/s

Ce calcul ne doit pas être confondu avec la durée totale de traitement, qui peut inclure la préparation du prompt et le chargement du modèle.

8.3. Pourquoi ces mesures sont-elles utiles ?

Elles permettent de comparer plusieurs configurations sur une même tâche, à condition de conserver des paramètres comparables.

9. Comprendre les transferts entre RAM et VRAM

Sur une architecture classique avec GPU dédié, la RAM et la VRAM correspondent à des espaces mémoire distincts.

Les données peuvent être transférées entre ces espaces par une interconnexion, souvent PCI Express.

9.1. Pourquoi les transferts peuvent-ils ralentir l’IA ?

La bande passante de l’interconnexion peut être inférieure à celle de la mémoire locale du GPU.

Si le moteur doit déplacer fréquemment des données importantes entre RAM et VRAM, les performances peuvent diminuer.

9.2. Exemple

Un modèle ne tient pas entièrement dans la VRAM disponible.

Le moteur conserve une partie des paramètres en RAM et utilise le GPU pour certaines opérations.

Cette stratégie peut permettre d’exécuter le modèle, mais elle peut entraîner des transferts supplémentaires ou des calculs sur CPU.

Bonne pratique

Lorsqu’un modèle fonctionne lentement malgré un GPU performant, il faut examiner la mémoire réellement utilisée, la répartition des calculs et les transferts éventuels, plutôt que de conclure immédiatement que le GPU manque de puissance.

10. Comprendre le chargement partiel sur GPU

Certains moteurs permettent de répartir les opérations du modèle entre CPU et GPU.

Cette technique est parfois appelée offloading.

10.1. Principe

Une partie des couches ou des opérations est exécutée sur GPU, tandis que le reste demeure sur CPU.

Cette organisation peut être utile lorsque la VRAM ne permet pas de charger entièrement le modèle.

10.2. Avantages possibles

  • Utiliser un modèle qui ne tient pas entièrement en VRAM.
  • Exploiter partiellement un GPU disponible.
  • Adapter l’exécution aux ressources de la machine.

10.3. Limites

  • Transferts supplémentaires.
  • Répartition parfois complexe.
  • Performances dépendantes du moteur.
  • Gain variable selon le modèle et le matériel.

Le chargement partiel ne garantit pas une accélération systématique.

11. Comprendre la mémoire unifiée

Une architecture à mémoire unifiée permet à plusieurs composants d’accéder à un espace mémoire commun, selon les mécanismes prévus par le matériel.

Elle se distingue d’une configuration classique où un GPU dédié possède sa propre VRAM.

11.1. Avantage potentiel

Certains échanges de données peuvent être simplifiés, car CPU et GPU utilisent un espace mémoire commun.

11.2. Limites

La mémoire reste partagée entre plusieurs usages.

Les performances dépendent de la bande passante, de l’architecture, des allocations et de la prise en charge logicielle.

Exemple

Un ordinateur possède 24 Go de mémoire unifiée. Cette capacité ne signifie pas que 24 Go sont entièrement disponibles pour les paramètres d’un modèle.

Le système d’exploitation et les autres applications utilisent également cet espace.

12. Comprendre les contraintes thermiques et énergétiques

L’exécution d’un modèle d’IA peut solliciter durablement le CPU, le GPU et la mémoire.

Cette activité produit de la chaleur et consomme de l’énergie.

12.1. La limitation thermique

Lorsque la température atteint certains seuils, le matériel peut réduire automatiquement sa fréquence pour protéger ses composants.

Ce phénomène est appelé thermal throttling.

12.2. Les conséquences possibles

  • Réduction des performances.
  • Variation de la vitesse au cours du temps.
  • Augmentation du bruit de ventilation.
  • Autonomie réduite sur ordinateur portable.

12.3. Bonne pratique

Il est utile de comparer les performances au début d’un traitement et après plusieurs minutes d’utilisation continue.

Un test très court peut masquer une limitation thermique.

13. Comment observer les ressources utilisées ?

13.1. Sous Windows

  1. Ouvrez le Gestionnaire des tâches avec Ctrl + Maj + Échap.
  2. Accédez à l’onglet Performances.
  3. Consultez les informations du CPU, de la mémoire et du GPU.
  4. Examinez la mémoire GPU dédiée et partagée lorsqu’elles sont affichées.
  5. Lancez une tâche d’IA et observez l’évolution des valeurs.

Les informations disponibles dépendent du matériel et des pilotes.

13.2. Sous macOS

Le Moniteur d’activité permet de consulter l’utilisation du CPU et la pression mémoire.

Des outils complémentaires peuvent être nécessaires pour obtenir des mesures détaillées de l’activité GPU.

13.3. Sous Linux

Les commandes suivantes permettent de consulter certaines ressources :

# Mémoire système free -h # Activité des processus top # Informations CPU lscpu

Pour les cartes NVIDIA compatibles avec les pilotes et utilitaires appropriés :

nvidia-smi

Cette commande peut notamment afficher l’utilisation de la mémoire GPU et certains indicateurs d’activité.

Pour d’autres architectures, les outils de diagnostic dépendent du fabricant et du système.

14. Comment interpréter les indicateurs ?

Indicateur Observation Interprétation possible
RAM Utilisation proche de la capacité disponible. Risque de pression mémoire ou de pagination.
VRAM Occupation élevée. Peu de marge pour augmenter le contexte ou charger d’autres données.
CPU Utilisation élevée pendant la génération. Une partie importante des calculs peut être exécutée sur CPU.
GPU Activité faible. Le modèle peut ne pas exploiter le GPU ou être limité ailleurs.
Température Élévation importante avec baisse des fréquences. Limitation thermique possible.
Débit Faible nombre de tokens par seconde. Modèle, mémoire ou calculs potentiellement limitants.

Un indicateur isolé ne permet pas toujours d’identifier la cause d’un ralentissement. Il faut observer plusieurs mesures et les comparer à la tâche exécutée.

15. Méthode pour analyser les performances d’une IA locale

1
Identifier le matériel

Relevez le CPU, le GPU, la RAM, la VRAM et le système d’exploitation.

2
Définir le modèle testé

Notez son nom, son format, sa quantification et la longueur du contexte.

3
Mesurer les ressources au repos

Observez l’utilisation mémoire et l’activité des processeurs avant le lancement.

4
Lancer une tâche représentative

Utilisez une demande similaire à celles prévues en situation réelle.

5
Observer les indicateurs

Relevez la mémoire, l’activité CPU/GPU, le temps de réponse et le débit.

6
Identifier la contrainte principale

Examinez si le ralentissement provient de la mémoire, des calculs, des transferts ou d’une autre limitation.

7
Modifier un seul paramètre à la fois

Comparez les résultats après une modification du modèle, du contexte ou de la répartition CPU/GPU.

16. Exemple : pourquoi deux GPU de 8 Go ne se valent-ils pas ?

Deux ordinateurs possèdent chacun une carte graphique équipée de 8 Go de VRAM.

Le GPU A dispose d’une bande passante mémoire théorique de 200 Go/s.

Le GPU B dispose d’une bande passante mémoire théorique de 400 Go/s.

Dans une situation où la génération est principalement limitée par les transferts depuis la VRAM, le GPU B pourrait bénéficier d’un avantage.

Mais il serait incorrect d’affirmer qu’il sera exactement deux fois plus rapide.

Les unités de calcul, les optimisations du moteur, les accès mémoire, les fréquences et les autres contraintes influencent également le résultat.

Conclusion

La capacité de VRAM indique combien de données peuvent être conservées. La bande passante influence la vitesse à laquelle ces données peuvent être transférées. Ces deux caractéristiques doivent être examinées séparément.

17. Étude de cas : analyser un ralentissement

Une personne utilise un modèle de langage local sur un ordinateur équipé de :

  • 32 Go de RAM.
  • Un GPU dédié de 8 Go de VRAM.
  • Un SSD.
  • Un moteur d’inférence compatible avec le GPU.

Lors d’un premier test, le modèle produit 18 tokens par seconde.

Après augmentation de la longueur du contexte, le débit descend à 9 tokens par seconde.

Le moniteur système montre une occupation de VRAM proche de la capacité disponible.

Questions

  1. Quel composant semble constituer une contrainte potentielle ?
  2. Pourquoi l’augmentation du contexte peut-elle accroître les besoins mémoire ?
  3. Peut-on affirmer que la VRAM est la seule cause du ralentissement ?
  4. Quelles mesures supplémentaires faut-il examiner ?
  5. Proposez trois actions à tester avant de changer de matériel.
Afficher la correction détaillée

1. Contrainte potentielle

La VRAM constitue une piste importante, car son occupation est élevée. Cela ne suffit toutefois pas à identifier la cause exacte.

2. Influence du contexte

Dans les modèles utilisant un KV cache, la quantité de mémoire nécessaire peut augmenter avec le nombre de tokens conservés dans le contexte.

3. Cause du ralentissement

Non. Le ralentissement peut aussi provenir d’une augmentation des calculs, de transferts supplémentaires ou du comportement du moteur d’inférence.

4. Mesures complémentaires

Il faut observer l’activité GPU, l’utilisation CPU, la RAM, les transferts éventuels, la longueur réelle du contexte et les journaux du moteur.

5. Actions possibles

  • Réduire la longueur du contexte et mesurer à nouveau le débit.
  • Tester une version plus compacte du modèle, si elle existe.
  • Modifier la répartition CPU/GPU ou les paramètres mémoire, lorsque le moteur le permet.

Chaque modification doit être testée séparément afin d’identifier son effet réel.

18. Erreurs fréquentes et bonnes pratiques

Erreur Conséquence Bonne pratique
Confondre RAM et VRAM. Mauvaise estimation de la capacité disponible. Identifier l’architecture mémoire.
Comparer uniquement les Go de VRAM. Évaluation incomplète des performances. Examiner aussi la bande passante et la compatibilité.
Supposer qu’un GPU puissant accélère toujours l’IA. Attentes irréalistes. Vérifier la prise en charge par le moteur.
Ignorer les transferts RAM/VRAM. Ralentissements difficiles à expliquer. Observer la répartition des calculs.
Utiliser toute la mémoire disponible. Instabilité ou échec de l’exécution. Conserver une marge pour le système.
Mesurer uniquement la vitesse instantanée. Diagnostic incomplet. Comparer latence, débit et consommation mémoire.
Modifier plusieurs paramètres simultanément. Impossibilité d’identifier la cause d’une amélioration. Tester une modification à la fois.

19. Questions fréquentes

Une carte graphique est-elle indispensable pour utiliser une IA locale ?

Non. Certains modèles peuvent fonctionner uniquement sur CPU. Un GPU compatible peut améliorer les performances selon le modèle et le moteur.

Pourquoi 16 Go de RAM ne remplacent-ils pas 16 Go de VRAM ?

Sur une architecture classique avec GPU dédié, ces mémoires sont distinctes et présentent des modalités d’accès et des performances différentes. Certaines architectures à mémoire unifiée fonctionnent autrement.

Un GPU avec plus de VRAM est-il toujours plus rapide ?

Non. La capacité de VRAM influence notamment la quantité de données pouvant être conservée. La vitesse dépend aussi de la bande passante, des unités de calcul et du logiciel.

Que signifie une utilisation GPU de 100 % ?

Elle indique une activité élevée selon la mesure fournie par l’outil. Elle ne permet pas, à elle seule, de conclure que tous les composants du GPU sont exploités de manière optimale.

Peut-on répartir un modèle entre CPU et GPU ?

Oui, certains moteurs proposent cette possibilité. Les performances dépendent de la répartition et des transferts nécessaires.

Pourquoi la vitesse diminue-t-elle avec un contexte plus long ?

Le traitement d’un contexte plus long peut augmenter les calculs et la mémoire nécessaires, notamment pour les modèles utilisant un cache de clés et de valeurs.

La mémoire unifiée est-elle toujours meilleure ?

Non. Elle présente des caractéristiques intéressantes, mais ses performances dépendent de l’architecture, de la bande passante, des capacités disponibles et des logiciels utilisés.

Comment savoir si mon GPU est compatible avec un logiciel d’IA ?

Il faut consulter les exigences du moteur d’inférence, vérifier les architectures prises en charge et contrôler les versions des pilotes et du système d’exploitation.

À retenir

  • Le CPU est un processeur généraliste capable d’exécuter certains modèles d’IA.
  • Le GPU peut accélérer les calculs parallèles lorsque le moteur le prend en charge.
  • La RAM conserve les données de travail du système et des applications.
  • La VRAM est utilisée par les GPU dédiés pour leurs calculs.
  • Les architectures à mémoire unifiée présentent une organisation différente.
  • La capacité mémoire et la bande passante sont deux caractéristiques distinctes.
  • Les transferts entre RAM et VRAM peuvent limiter les performances.
  • Le chargement partiel sur GPU peut faciliter l’exécution de certains modèles, sans garantir une accélération.
  • La longueur du contexte peut augmenter les besoins mémoire.
  • Les performances doivent être évaluées à partir de mesures représentatives.
Vérifiez votre compréhension

Question 1 : Quelle est la différence entre la RAM et la VRAM ?

Voir la réponse
La RAM est la mémoire de travail générale du système. La VRAM est la mémoire utilisée par les GPU dédiés pour leurs opérations. Certaines architectures utilisent une mémoire partagée ou unifiée.

Question 2 : Pourquoi un GPU disposant de plus de VRAM n’est-il pas nécessairement plus rapide ?

Voir la réponse
Parce que la vitesse dépend également de la bande passante mémoire, des unités de calcul, de l’architecture et des optimisations logicielles.

Question 3 : Un modèle produit 240 tokens en 16 secondes. Quel est son débit moyen ?

Voir la réponse
240 ÷ 16 = 15 tokens par seconde.

Question 4 : Pourquoi le chargement partiel d’un modèle sur GPU peut-il ralentir son exécution ?

Voir la réponse
Parce que certaines opérations restent exécutées sur CPU et que des transferts entre les espaces mémoire peuvent être nécessaires.

Question 5 : Quelle méthode permet d’identifier la cause d’un ralentissement ?

Voir la réponse
Mesurer les ressources et les performances, puis modifier un paramètre à la fois en conservant une tâche de référence comparable.
À suivre — Cours 05 Comprendre la quantification des modèles →

Découvrez comment la réduction de la précision numérique peut diminuer les besoins mémoire d’un modèle et quels compromis elle implique pour les performances et la qualité des réponses.

Exercices du cours

Entraînez-vous avec 15 exercices progressifs. Ouvrez un exercice pour répondre, puis afficher sa correction.