Découvrir les GPU, la RAM et la VRAM
Pourquoi deux ordinateurs équipés de la même quantité de mémoire peuvent-ils obtenir des performances très différentes avec une intelligence artificielle locale ? Pour le comprendre, il faut examiner le fonctionnement du GPU, de la RAM, de la VRAM et les échanges de données entre ces composants.
À la fin de ce cours, vous saurez :
- Expliquer le rôle du CPU et du GPU dans l’exécution d’un modèle d’IA.
- Distinguer la mémoire vive, la mémoire vidéo et la mémoire unifiée.
- Comprendre pourquoi la bande passante mémoire influence les performances.
- Identifier les conséquences des transferts entre RAM et VRAM.
- Comprendre le principe du chargement partiel sur GPU.
- Observer l’utilisation des ressources pendant une inférence.
- Interpréter les signes d’une saturation mémoire.
- Comparer deux configurations matérielles selon un besoin précis.
Avoir étudié le cours 03, consacré aux besoins matériels d’une IA locale. Ce cours approfondit le fonctionnement des composants et leurs interactions.
1. Comment les composants travaillent-ils ensemble ?
Lorsqu’un modèle de langage fonctionne localement, plusieurs composants participent à son exécution.
Le CPU pilote notamment les opérations générales. Le GPU, lorsqu’il est utilisé, peut effectuer une grande partie des calculs numériques. Les mémoires conservent les paramètres du modèle et les données nécessaires aux opérations.
Le stockage contient les fichiers du modèle avant leur chargement.
Ce schéma représente une architecture classique avec GPU dédié. Sur un système à mémoire unifiée, l’organisation des échanges peut être différente.
Les performances d’une IA locale ne dépendent pas uniquement de la puissance de calcul. Elles dépendent aussi de la capacité des mémoires, de la vitesse à laquelle les données circulent et de la manière dont le logiciel répartit les opérations.
2. Le CPU : le processeur généraliste
Le CPU, ou Central Processing Unit, est conçu pour exécuter une grande variété d’instructions.
Il dispose généralement d’un nombre relativement limité de cœurs complexes, capables de traiter efficacement des tâches diversifiées.
2.1. Son rôle dans une IA locale
- Exécuter le système d’exploitation et le moteur d’inférence.
- Préparer les données d’entrée.
- Gérer les opérations de chargement et de coordination.
- Effectuer les calculs du modèle lorsque l’inférence utilise le CPU.
- Participer à une exécution répartie entre CPU et GPU.
2.2. Le CPU peut-il exécuter un modèle seul ?
Oui. Certains moteurs d’inférence sont optimisés pour les processeurs classiques.
La vitesse dépend de l’architecture du CPU, de ses instructions vectorielles, de sa bande passante mémoire et des optimisations du logiciel.
Un CPU récent peut donc offrir une expérience satisfaisante avec certains modèles compacts.
3. Le GPU : un accélérateur de calcul parallèle
Le GPU, ou Graphics Processing Unit, est conçu pour effectuer de nombreuses opérations en parallèle.
Cette caractéristique est particulièrement utile pour les opérations matricielles rencontrées dans les réseaux de neurones.
3.1. Pourquoi le GPU est-il intéressant pour l’IA ?
Les modèles de langage et de génération d’images réalisent un grand nombre d’opérations mathématiques répétitives.
Un GPU adapté peut traiter efficacement ces opérations grâce à son architecture parallèle et à ses unités spécialisées.
3.2. La puissance théorique ne suffit pas
Deux GPU possédant une puissance de calcul théorique différente ne présentent pas nécessairement le même écart de performance avec un modèle donné.
Les résultats dépendent aussi :
- De la bande passante mémoire.
- De la capacité de VRAM.
- Du format numérique utilisé.
- De la prise en charge des opérations par le moteur.
- Des transferts de données.
- De l’architecture du modèle.
Un GPU dispose d’une grande puissance de calcul, mais sa mémoire est insuffisante pour charger entièrement un modèle.
Le moteur doit alors utiliser une partie de la RAM ou répartir les calculs. Les transferts supplémentaires peuvent réduire fortement le gain attendu.
4. Comprendre les différents types de GPU
4.1. Le GPU intégré
Un GPU intégré est incorporé au processeur ou à une même puce.
Il utilise généralement une mémoire partagée avec le système, selon l’architecture matérielle.
Il peut convenir à certaines applications d’IA locale, notamment avec des modèles compacts.
4.2. Le GPU dédié
Un GPU dédié est un composant distinct, souvent équipé de sa propre mémoire vidéo.
Il peut disposer d’une bande passante mémoire importante et d’unités de calcul spécialisées.
Sa compatibilité avec les logiciels d’IA doit néanmoins être vérifiée.
4.3. Les architectures à mémoire unifiée
Certains systèmes utilisent une mémoire accessible à plusieurs processeurs, notamment au CPU et au GPU.
Cette organisation peut limiter certaines copies de données, mais ne supprime pas toutes les contraintes de capacité, de bande passante ou de partage des ressources.
| Architecture | Organisation mémoire | Point de vigilance |
|---|---|---|
| GPU intégré classique | Mémoire généralement partagée avec le système. | Capacité et bande passante partagées. |
| GPU dédié | VRAM propre au GPU. | Capacité de VRAM et transferts avec la RAM. |
| Mémoire unifiée | Espace mémoire commun selon l’architecture. | Ressources partagées et compatibilité du moteur. |
5. La RAM : la mémoire de travail du système
La RAM conserve temporairement les données utilisées par le système d’exploitation et les applications.
Dans une exécution d’IA sur CPU, elle peut contenir les paramètres du modèle, les caches et les données intermédiaires.
5.1. Capacité totale et mémoire disponible
La quantité de RAM installée n’est pas identique à la mémoire libre.
Le système d’exploitation, le navigateur et les applications utilisent déjà une partie des ressources.
5.2. Exemple de répartition
Un ordinateur possède 16 Go de RAM.
Cette différence ne représente pas une quantité garantie pour l’IA. Le système peut utiliser de la mémoire supplémentaire et conserver des données en cache.
5.3. Que se passe-t-il lorsque la RAM manque ?
Selon le système et le moteur, l’ordinateur peut :
- Utiliser davantage la mémoire virtuelle sur disque.
- Ralentir fortement.
- Interrompre certains processus.
- Refuser de charger le modèle.
La mémoire virtuelle ne constitue pas un remplacement équivalent de la RAM physique.
6. La VRAM : la mémoire utilisée par le GPU
La VRAM est la mémoire associée à un GPU dédié. Elle permet de conserver des données proches des unités de calcul graphique.
Lors de l’inférence, elle peut contenir :
- Les poids du modèle chargés sur GPU.
- Les données d’entrée et de sortie intermédiaires.
- Les espaces de travail nécessaires aux calculs.
- Les caches utilisés pendant la génération.
6.1. Pourquoi la capacité de VRAM est-elle déterminante ?
Si les ressources nécessaires tiennent dans la VRAM disponible, le moteur peut limiter les transferts vers d’autres espaces mémoire.
Lorsque cette capacité est insuffisante, il faut utiliser une autre stratégie d’exécution ou choisir un modèle moins exigeant.
6.2. Exemple avec une carte de 8 Go
Une carte dispose de 8 Go de VRAM.
Un modèle occupe théoriquement 5 Go pour ses poids, mais nécessite également de la mémoire pour ses caches et les opérations du moteur.
Il ne suffit donc pas de comparer 5 Go à 8 Go pour conclure que le modèle fonctionnera correctement.
La taille du fichier du modèle ne correspond pas nécessairement à la quantité de VRAM requise. Il faut considérer l’ensemble de la mémoire utilisée pendant l’exécution.
7. Comprendre la bande passante mémoire
La bande passante représente la quantité de données qu’un système mémoire peut transférer par unité de temps.
Elle est généralement exprimée en gigaoctets par seconde (Go/s).
7.1. Pourquoi est-elle importante ?
Lors de la génération de texte, certaines opérations doivent accéder fréquemment aux poids du modèle.
Dans plusieurs scénarios d’inférence, notamment avec un petit nombre de séquences traitées simultanément, la vitesse peut être limitée par la bande passante mémoire.
7.2. Exemple théorique
Supposons que chaque token nécessite de lire environ 6 Go de poids depuis une mémoire offrant une bande passante effective de 120 Go/s.
Ce résultat est une borne théorique dans un modèle très simplifié. Il ne constitue pas une prédiction de performance réelle.
Les calculs, les caches, les autres transferts, les accès mémoire et les optimisations modifient le débit observé.
La bande passante mesure la capacité de transfert de données. La capacité mémoire mesure la quantité de données pouvant être conservée. Une mémoire volumineuse n’est donc pas nécessairement rapide.
8. Comprendre la latence et le débit
La latence et le débit décrivent deux aspects différents des performances.
8.1. La latence
La latence correspond au délai nécessaire pour obtenir un résultat ou une étape du résultat.
Pour une IA conversationnelle, on peut notamment mesurer le temps avant le premier token.
8.2. Le débit de génération
Le débit correspond au nombre de tokens produits par seconde.
Ce calcul ne doit pas être confondu avec la durée totale de traitement, qui peut inclure la préparation du prompt et le chargement du modèle.
8.3. Pourquoi ces mesures sont-elles utiles ?
Elles permettent de comparer plusieurs configurations sur une même tâche, à condition de conserver des paramètres comparables.
9. Comprendre les transferts entre RAM et VRAM
Sur une architecture classique avec GPU dédié, la RAM et la VRAM correspondent à des espaces mémoire distincts.
Les données peuvent être transférées entre ces espaces par une interconnexion, souvent PCI Express.
9.1. Pourquoi les transferts peuvent-ils ralentir l’IA ?
La bande passante de l’interconnexion peut être inférieure à celle de la mémoire locale du GPU.
Si le moteur doit déplacer fréquemment des données importantes entre RAM et VRAM, les performances peuvent diminuer.
9.2. Exemple
Un modèle ne tient pas entièrement dans la VRAM disponible.
Le moteur conserve une partie des paramètres en RAM et utilise le GPU pour certaines opérations.
Cette stratégie peut permettre d’exécuter le modèle, mais elle peut entraîner des transferts supplémentaires ou des calculs sur CPU.
Lorsqu’un modèle fonctionne lentement malgré un GPU performant, il faut examiner la mémoire réellement utilisée, la répartition des calculs et les transferts éventuels, plutôt que de conclure immédiatement que le GPU manque de puissance.
10. Comprendre le chargement partiel sur GPU
Certains moteurs permettent de répartir les opérations du modèle entre CPU et GPU.
Cette technique est parfois appelée offloading.
10.1. Principe
Une partie des couches ou des opérations est exécutée sur GPU, tandis que le reste demeure sur CPU.
Cette organisation peut être utile lorsque la VRAM ne permet pas de charger entièrement le modèle.
10.2. Avantages possibles
- Utiliser un modèle qui ne tient pas entièrement en VRAM.
- Exploiter partiellement un GPU disponible.
- Adapter l’exécution aux ressources de la machine.
10.3. Limites
- Transferts supplémentaires.
- Répartition parfois complexe.
- Performances dépendantes du moteur.
- Gain variable selon le modèle et le matériel.
Le chargement partiel ne garantit pas une accélération systématique.
11. Comprendre la mémoire unifiée
Une architecture à mémoire unifiée permet à plusieurs composants d’accéder à un espace mémoire commun, selon les mécanismes prévus par le matériel.
Elle se distingue d’une configuration classique où un GPU dédié possède sa propre VRAM.
11.1. Avantage potentiel
Certains échanges de données peuvent être simplifiés, car CPU et GPU utilisent un espace mémoire commun.
11.2. Limites
La mémoire reste partagée entre plusieurs usages.
Les performances dépendent de la bande passante, de l’architecture, des allocations et de la prise en charge logicielle.
Un ordinateur possède 24 Go de mémoire unifiée. Cette capacité ne signifie pas que 24 Go sont entièrement disponibles pour les paramètres d’un modèle.
Le système d’exploitation et les autres applications utilisent également cet espace.
12. Comprendre les contraintes thermiques et énergétiques
L’exécution d’un modèle d’IA peut solliciter durablement le CPU, le GPU et la mémoire.
Cette activité produit de la chaleur et consomme de l’énergie.
12.1. La limitation thermique
Lorsque la température atteint certains seuils, le matériel peut réduire automatiquement sa fréquence pour protéger ses composants.
Ce phénomène est appelé thermal throttling.
12.2. Les conséquences possibles
- Réduction des performances.
- Variation de la vitesse au cours du temps.
- Augmentation du bruit de ventilation.
- Autonomie réduite sur ordinateur portable.
12.3. Bonne pratique
Il est utile de comparer les performances au début d’un traitement et après plusieurs minutes d’utilisation continue.
Un test très court peut masquer une limitation thermique.
13. Comment observer les ressources utilisées ?
13.1. Sous Windows
- Ouvrez le Gestionnaire des tâches avec Ctrl + Maj + Échap.
- Accédez à l’onglet Performances.
- Consultez les informations du CPU, de la mémoire et du GPU.
- Examinez la mémoire GPU dédiée et partagée lorsqu’elles sont affichées.
- Lancez une tâche d’IA et observez l’évolution des valeurs.
Les informations disponibles dépendent du matériel et des pilotes.
13.2. Sous macOS
Le Moniteur d’activité permet de consulter l’utilisation du CPU et la pression mémoire.
Des outils complémentaires peuvent être nécessaires pour obtenir des mesures détaillées de l’activité GPU.
13.3. Sous Linux
Les commandes suivantes permettent de consulter certaines ressources :
Pour les cartes NVIDIA compatibles avec les pilotes et utilitaires appropriés :
Cette commande peut notamment afficher l’utilisation de la mémoire GPU et certains indicateurs d’activité.
Pour d’autres architectures, les outils de diagnostic dépendent du fabricant et du système.
14. Comment interpréter les indicateurs ?
| Indicateur | Observation | Interprétation possible |
|---|---|---|
| RAM | Utilisation proche de la capacité disponible. | Risque de pression mémoire ou de pagination. |
| VRAM | Occupation élevée. | Peu de marge pour augmenter le contexte ou charger d’autres données. |
| CPU | Utilisation élevée pendant la génération. | Une partie importante des calculs peut être exécutée sur CPU. |
| GPU | Activité faible. | Le modèle peut ne pas exploiter le GPU ou être limité ailleurs. |
| Température | Élévation importante avec baisse des fréquences. | Limitation thermique possible. |
| Débit | Faible nombre de tokens par seconde. | Modèle, mémoire ou calculs potentiellement limitants. |
Un indicateur isolé ne permet pas toujours d’identifier la cause d’un ralentissement. Il faut observer plusieurs mesures et les comparer à la tâche exécutée.
15. Méthode pour analyser les performances d’une IA locale
Relevez le CPU, le GPU, la RAM, la VRAM et le système d’exploitation.
Notez son nom, son format, sa quantification et la longueur du contexte.
Observez l’utilisation mémoire et l’activité des processeurs avant le lancement.
Utilisez une demande similaire à celles prévues en situation réelle.
Relevez la mémoire, l’activité CPU/GPU, le temps de réponse et le débit.
Examinez si le ralentissement provient de la mémoire, des calculs, des transferts ou d’une autre limitation.
Comparez les résultats après une modification du modèle, du contexte ou de la répartition CPU/GPU.
16. Exemple : pourquoi deux GPU de 8 Go ne se valent-ils pas ?
Deux ordinateurs possèdent chacun une carte graphique équipée de 8 Go de VRAM.
Le GPU A dispose d’une bande passante mémoire théorique de 200 Go/s.
Le GPU B dispose d’une bande passante mémoire théorique de 400 Go/s.
Dans une situation où la génération est principalement limitée par les transferts depuis la VRAM, le GPU B pourrait bénéficier d’un avantage.
Mais il serait incorrect d’affirmer qu’il sera exactement deux fois plus rapide.
Les unités de calcul, les optimisations du moteur, les accès mémoire, les fréquences et les autres contraintes influencent également le résultat.
La capacité de VRAM indique combien de données peuvent être conservées. La bande passante influence la vitesse à laquelle ces données peuvent être transférées. Ces deux caractéristiques doivent être examinées séparément.
17. Étude de cas : analyser un ralentissement
Une personne utilise un modèle de langage local sur un ordinateur équipé de :
- 32 Go de RAM.
- Un GPU dédié de 8 Go de VRAM.
- Un SSD.
- Un moteur d’inférence compatible avec le GPU.
Lors d’un premier test, le modèle produit 18 tokens par seconde.
Après augmentation de la longueur du contexte, le débit descend à 9 tokens par seconde.
Le moniteur système montre une occupation de VRAM proche de la capacité disponible.
Questions
- Quel composant semble constituer une contrainte potentielle ?
- Pourquoi l’augmentation du contexte peut-elle accroître les besoins mémoire ?
- Peut-on affirmer que la VRAM est la seule cause du ralentissement ?
- Quelles mesures supplémentaires faut-il examiner ?
- Proposez trois actions à tester avant de changer de matériel.
Afficher la correction détaillée
1. Contrainte potentielle
La VRAM constitue une piste importante, car son occupation est élevée. Cela ne suffit toutefois pas à identifier la cause exacte.
2. Influence du contexte
Dans les modèles utilisant un KV cache, la quantité de mémoire nécessaire peut augmenter avec le nombre de tokens conservés dans le contexte.
3. Cause du ralentissement
Non. Le ralentissement peut aussi provenir d’une augmentation des calculs, de transferts supplémentaires ou du comportement du moteur d’inférence.
4. Mesures complémentaires
Il faut observer l’activité GPU, l’utilisation CPU, la RAM, les transferts éventuels, la longueur réelle du contexte et les journaux du moteur.
5. Actions possibles
- Réduire la longueur du contexte et mesurer à nouveau le débit.
- Tester une version plus compacte du modèle, si elle existe.
- Modifier la répartition CPU/GPU ou les paramètres mémoire, lorsque le moteur le permet.
Chaque modification doit être testée séparément afin d’identifier son effet réel.
18. Erreurs fréquentes et bonnes pratiques
| Erreur | Conséquence | Bonne pratique |
|---|---|---|
| Confondre RAM et VRAM. | Mauvaise estimation de la capacité disponible. | Identifier l’architecture mémoire. |
| Comparer uniquement les Go de VRAM. | Évaluation incomplète des performances. | Examiner aussi la bande passante et la compatibilité. |
| Supposer qu’un GPU puissant accélère toujours l’IA. | Attentes irréalistes. | Vérifier la prise en charge par le moteur. |
| Ignorer les transferts RAM/VRAM. | Ralentissements difficiles à expliquer. | Observer la répartition des calculs. |
| Utiliser toute la mémoire disponible. | Instabilité ou échec de l’exécution. | Conserver une marge pour le système. |
| Mesurer uniquement la vitesse instantanée. | Diagnostic incomplet. | Comparer latence, débit et consommation mémoire. |
| Modifier plusieurs paramètres simultanément. | Impossibilité d’identifier la cause d’une amélioration. | Tester une modification à la fois. |
19. Questions fréquentes
Une carte graphique est-elle indispensable pour utiliser une IA locale ?
Non. Certains modèles peuvent fonctionner uniquement sur CPU. Un GPU compatible peut améliorer les performances selon le modèle et le moteur.
Pourquoi 16 Go de RAM ne remplacent-ils pas 16 Go de VRAM ?
Sur une architecture classique avec GPU dédié, ces mémoires sont distinctes et présentent des modalités d’accès et des performances différentes. Certaines architectures à mémoire unifiée fonctionnent autrement.
Un GPU avec plus de VRAM est-il toujours plus rapide ?
Non. La capacité de VRAM influence notamment la quantité de données pouvant être conservée. La vitesse dépend aussi de la bande passante, des unités de calcul et du logiciel.
Que signifie une utilisation GPU de 100 % ?
Elle indique une activité élevée selon la mesure fournie par l’outil. Elle ne permet pas, à elle seule, de conclure que tous les composants du GPU sont exploités de manière optimale.
Peut-on répartir un modèle entre CPU et GPU ?
Oui, certains moteurs proposent cette possibilité. Les performances dépendent de la répartition et des transferts nécessaires.
Pourquoi la vitesse diminue-t-elle avec un contexte plus long ?
Le traitement d’un contexte plus long peut augmenter les calculs et la mémoire nécessaires, notamment pour les modèles utilisant un cache de clés et de valeurs.
La mémoire unifiée est-elle toujours meilleure ?
Non. Elle présente des caractéristiques intéressantes, mais ses performances dépendent de l’architecture, de la bande passante, des capacités disponibles et des logiciels utilisés.
Comment savoir si mon GPU est compatible avec un logiciel d’IA ?
Il faut consulter les exigences du moteur d’inférence, vérifier les architectures prises en charge et contrôler les versions des pilotes et du système d’exploitation.
À retenir
- Le CPU est un processeur généraliste capable d’exécuter certains modèles d’IA.
- Le GPU peut accélérer les calculs parallèles lorsque le moteur le prend en charge.
- La RAM conserve les données de travail du système et des applications.
- La VRAM est utilisée par les GPU dédiés pour leurs calculs.
- Les architectures à mémoire unifiée présentent une organisation différente.
- La capacité mémoire et la bande passante sont deux caractéristiques distinctes.
- Les transferts entre RAM et VRAM peuvent limiter les performances.
- Le chargement partiel sur GPU peut faciliter l’exécution de certains modèles, sans garantir une accélération.
- La longueur du contexte peut augmenter les besoins mémoire.
- Les performances doivent être évaluées à partir de mesures représentatives.
Question 1 : Quelle est la différence entre la RAM et la VRAM ?
Voir la réponse
Question 2 : Pourquoi un GPU disposant de plus de VRAM n’est-il pas nécessairement plus rapide ?
Voir la réponse
Question 3 : Un modèle produit 240 tokens en 16 secondes. Quel est son débit moyen ?
Voir la réponse
Question 4 : Pourquoi le chargement partiel d’un modèle sur GPU peut-il ralentir son exécution ?
Voir la réponse
Question 5 : Quelle méthode permet d’identifier la cause d’un ralentissement ?
Voir la réponse
Découvrez comment la réduction de la précision numérique peut diminuer les besoins mémoire d’un modèle et quels compromis elle implique pour les performances et la qualité des réponses.
Exercices du cours
Entraînez-vous avec 15 exercices progressifs. Ouvrez un exercice pour répondre, puis afficher sa correction.
