Comprendre les besoins matériels
Peut-on faire fonctionner une intelligence artificielle sur un ordinateur classique ? Faut-il une carte graphique puissante ? Combien de mémoire et d’espace disque prévoir ? Ce cours vous apprend à évaluer les ressources nécessaires à l’exécution locale d’un modèle, sans acheter du matériel inutilement.
À la fin de ce cours, vous saurez :
- Identifier les composants matériels indispensables à l’exécution d’une IA locale.
- Comprendre la différence entre processeur, mémoire vive, mémoire vidéo et stockage.
- Expliquer pourquoi la taille du modèle influence les besoins matériels.
- Estimer l’espace mémoire nécessaire à un modèle.
- Examiner les caractéristiques de votre ordinateur.
- Identifier les contraintes liées au système d’exploitation et au logiciel d’exécution.
- Évaluer si une configuration est adaptée à un usage donné.
Connaître la différence entre une IA locale et un service distant. Les notions de CPU, GPU, RAM et VRAM seront présentées ici, puis approfondies dans le cours 04.
1. Pourquoi une IA a-t-elle besoin de ressources matérielles ?
Un modèle d’intelligence artificielle est constitué de paramètres numériques et d’une architecture de calcul. Lorsqu’il fonctionne, l’ordinateur doit charger ces paramètres, effectuer des opérations mathématiques et conserver des données temporaires.
Ces opérations mobilisent plusieurs ressources :
- Le processeur (CPU) exécute les instructions et peut effectuer les calculs d’inférence.
- Le processeur graphique (GPU) peut accélérer certains calculs parallèles.
- La mémoire vive (RAM) conserve les données utilisées pendant l’exécution.
- La mémoire vidéo (VRAM) stocke notamment des données utilisées par le GPU.
- Le stockage conserve les fichiers du modèle et les logiciels.
La quantité de ressources nécessaire dépend du modèle, de son format, de la longueur des données traitées et du logiciel utilisé.
Il n’existe pas de configuration matérielle universelle pour l’IA locale. Un petit modèle de langage peut fonctionner sur un ordinateur courant, tandis qu’un modèle volumineux ou une génération d’image exigeante peut nécessiter des ressources nettement supérieures.
2. Comprendre le rôle du processeur (CPU)
Le CPU, ou unité centrale de traitement, est le composant chargé d’exécuter les instructions générales de l’ordinateur.
Il peut aussi réaliser les calculs nécessaires à l’inférence d’un modèle d’IA.
2.1. Une IA peut fonctionner sans GPU dédié
Contrairement à une idée répandue, une carte graphique dédiée n’est pas systématiquement obligatoire.
Certains moteurs d’inférence sont conçus pour exploiter efficacement les processeurs classiques.
La vitesse dépend notamment de l’architecture du CPU, du nombre de cœurs, de la bande passante mémoire et des optimisations du logiciel.
2.2. Les limites d’une exécution sur CPU
Un modèle peut fonctionner correctement, mais produire ses réponses plus lentement qu’avec un accélérateur compatible.
La lenteur devient particulièrement perceptible avec les modèles volumineux, les contextes longs ou plusieurs utilisateurs simultanés.
Un ordinateur sans carte graphique dédiée exécute un petit modèle de langage quantifié. Il parvient à répondre à des questions simples, mais met davantage de temps à générer de longs textes.
Le matériel n’est pas nécessairement incompatible : la limite peut simplement concerner le confort d’utilisation.
3. Comprendre le rôle du processeur graphique (GPU)
Le GPU est spécialisé dans de nombreuses opérations parallèles. Cette architecture peut être particulièrement efficace pour les calculs utilisés par les réseaux de neurones.
Un GPU compatible peut réduire les temps de traitement, mais son efficacité dépend de plusieurs facteurs.
- Architecture du GPU.
- Capacité de mémoire accessible.
- Bande passante mémoire.
- Compatibilité des pilotes.
- Prise en charge par le moteur d’inférence.
- Part du modèle réellement exécutée sur le GPU.
3.1. Carte dédiée et GPU intégré
Une carte graphique dédiée possède généralement ses propres ressources de mémoire vidéo.
Un GPU intégré utilise souvent une mémoire partagée avec le système, selon l’architecture de l’ordinateur.
Certains ordinateurs modernes utilisent une architecture à mémoire unifiée, dans laquelle CPU et GPU accèdent à un espace mémoire commun.
3.2. Tous les GPU ne sont pas équivalents
La présence d’un GPU ne garantit pas qu’un logiciel d’IA puisse l’utiliser.
Il faut vérifier la compatibilité entre le matériel, les pilotes, le système d’exploitation et le moteur d’inférence.
Une carte graphique performante pour l’affichage ou les jeux vidéo n’est pas automatiquement adaptée à tous les logiciels d’intelligence artificielle. La compatibilité logicielle est aussi importante que les caractéristiques matérielles.
4. Comprendre les besoins en mémoire vive (RAM)
La RAM est la mémoire de travail de l’ordinateur.
Lorsqu’un modèle fonctionne sur CPU, ses paramètres et les données temporaires peuvent être chargés en mémoire vive.
La RAM doit également accueillir le système d’exploitation, les applications ouvertes et les autres processus.
4.1. Mémoire installée et mémoire disponible
Un ordinateur équipé de 16 Go de RAM ne dispose pas nécessairement de 16 Go libres pour un modèle.
Une partie de la mémoire est déjà utilisée par le système et les logiciels.
Un ordinateur possède 16 Go de RAM. Le système et les applications occupent actuellement 5 Go.
La différence est de 11 Go, mais cette valeur ne constitue pas une réserve entièrement garantie : les autres processus, les pics de consommation et les besoins du moteur doivent être pris en compte.
4.2. Que se passe-t-il si la RAM manque ?
Selon le système et le logiciel, l’ordinateur peut utiliser de la mémoire virtuelle sur disque, ralentir fortement ou refuser de charger le modèle.
Le stockage ne remplace pas efficacement la RAM : les accès disque sont généralement beaucoup plus lents.
5. Comprendre les besoins en mémoire vidéo (VRAM)
La VRAM est la mémoire utilisée par les cartes graphiques dédiées pour stocker les données nécessaires aux calculs.
Lorsqu’un modèle est exécuté sur GPU, les paramètres, les caches et certaines données intermédiaires peuvent occuper cette mémoire.
5.1. Pourquoi la VRAM est-elle importante ?
Si le modèle et ses données nécessaires tiennent dans la mémoire vidéo disponible, le GPU peut effectuer les opérations sans devoir transférer constamment les informations entre plusieurs espaces mémoire.
Lorsque la VRAM est insuffisante, certains moteurs peuvent répartir le traitement entre CPU et GPU, utiliser des mécanismes de transfert ou refuser l’exécution.
5.2. Une carte de 8 Go peut-elle faire fonctionner une IA ?
Oui, pour certains modèles et certaines configurations. Cela dépend du format des poids, de la longueur du contexte et de la mémoire nécessaire au moteur.
Il serait incorrect d’affirmer qu’une carte de 8 Go permet d’exécuter tous les modèles d’une taille donnée.
La capacité de mémoire disponible constitue souvent une contrainte déterminante. La puissance de calcul influence la vitesse, tandis que la mémoire conditionne notamment la possibilité de charger et d’exécuter le modèle dans une configuration donnée.
6. Comprendre les besoins en stockage
Les fichiers d’un modèle doivent être conservés sur un support de stockage, généralement un SSD ou un disque dur.
Le stockage accueille aussi le moteur d’inférence, les dépendances, les journaux et les éventuels fichiers temporaires.
6.1. Taille du fichier et mémoire d’exécution
Un modèle occupant 5 Go sur disque ne nécessite pas nécessairement exactement 5 Go de RAM ou de VRAM.
La mémoire d’exécution dépend du format, du chargement, des caches et des données intermédiaires.
6.2. SSD ou disque dur ?
Un SSD permet généralement un chargement plus rapide des fichiers qu’un disque dur mécanique.
Une fois le modèle chargé, les performances de génération dépendent principalement des composants et de la stratégie d’exécution utilisés.
6.3. Prévoir une marge de stockage
Il faut anticiper les téléchargements, les mises à jour, les versions successives et les éventuelles copies de modèles.
Conserver plusieurs modèles peut rapidement représenter plusieurs dizaines de gigaoctets.
7. Pourquoi la taille du modèle change-t-elle les besoins ?
Les modèles de langage sont souvent décrits par leur nombre de paramètres.
On rencontre par exemple des modèles de 1 milliard, 3 milliards, 7 milliards ou davantage de paramètres.
La mémoire nécessaire pour stocker les poids dépend notamment du nombre de paramètres et du nombre de bits utilisés pour les représenter.
7.1. Comprendre les ordres de grandeur
Pour une estimation théorique simplifiée, on peut utiliser la relation suivante :
Cette formule ne calcule que le volume théorique des poids. Elle n’inclut pas les métadonnées, les caches, les activations ni les surcoûts du logiciel.
7.2. Exemple avec 7 milliards de paramètres
Pour un modèle de 7 milliards de paramètres :
| Précision théorique | Calcul | Volume des poids |
|---|---|---|
| 32 bits | 7 milliards × 4 octets | 28 Go |
| 16 bits | 7 milliards × 2 octets | 14 Go |
| 8 bits | 7 milliards × 1 octet | 7 Go |
| 4 bits | 7 milliards × 0,5 octet | 3,5 Go |
Les valeurs sont exprimées en gigaoctets décimaux et représentent uniquement les poids théoriques.
Un fichier quantifié réel peut être plus volumineux en raison des informations supplémentaires nécessaires à son format.
Il ne faut pas déduire directement la configuration matérielle minimale à partir de ce tableau. Le modèle a besoin d’une mémoire supplémentaire pour fonctionner. La consommation réelle doit être vérifiée avec le logiciel, le format et le contexte prévus.
8. Comprendre l’influence de la quantification
La quantification consiste à représenter les paramètres d’un modèle avec une précision numérique réduite, selon une méthode déterminée.
Elle peut diminuer l’espace occupé par les poids et faciliter l’exécution sur un ordinateur disposant de ressources limitées.
8.1. Exemple simplifié
Un modèle utilisant initialement des poids sur 16 bits peut, après une quantification adaptée, disposer d’une version dont les poids occupent moins d’espace.
Le gain exact dépend de la méthode de quantification et du format utilisé.
8.2. Les compromis possibles
- Réduction de l’occupation mémoire.
- Possibilité d’utiliser un modèle sur du matériel moins puissant.
- Variation possible de la qualité des résultats.
- Performances dépendantes du moteur et du matériel.
Le cours 05 approfondira les méthodes de quantification et leurs effets.
9. La longueur du contexte influence aussi la mémoire
Lorsqu’un modèle de langage traite une conversation ou un document, il doit conserver certaines informations nécessaires au calcul de la suite.
Pour les modèles autorégressifs utilisant un cache de clés et de valeurs, appelé KV cache, la consommation mémoire peut augmenter avec la longueur du contexte.
9.1. Exemple
Un modèle peut fonctionner correctement pour des questions courtes, mais consommer davantage de mémoire lorsqu’il traite une longue conversation.
La mémoire nécessaire dépend de l’architecture du modèle, du nombre de tokens, du format des caches et des optimisations du moteur.
9.2. Conséquence pratique
Il faut tester le modèle dans les conditions réelles d’utilisation.
Un test avec une question de quelques mots ne suffit pas pour valider un usage impliquant des documents volumineux.
Un token est une unité de traitement du texte utilisée par le modèle. Il peut correspondre à un mot, une partie de mot ou un autre fragment. Le nombre de tokens ne correspond donc pas directement au nombre de mots.
10. Différencier les besoins selon les types d’IA
Tous les modèles ne sollicitent pas le matériel de la même manière.
IA de génération de texte
Les besoins dépendent notamment du nombre de paramètres, du format des poids, de la longueur du contexte et du débit attendu.
IA de génération d’images
Les besoins varient selon le modèle, la résolution, le nombre d’étapes de génération et les optimisations disponibles.
IA de transcription audio
Les ressources nécessaires dépendent du modèle, de la durée de l’enregistrement et des exigences de vitesse.
IA multimodale
Le traitement combiné de textes, d’images ou d’autres médias peut nécessiter des composants et des ressources supplémentaires.
Avant de choisir une configuration, il faut donc définir le type de traitement envisagé.
11. Comment examiner les caractéristiques de son ordinateur ?
Avant toute installation, il est nécessaire de relever les informations essentielles sur le matériel disponible.
11.1. Sous Windows
- Ouvrez les Paramètres.
- Accédez à Système → Informations système ou à la page À propos, selon la version de Windows.
- Relevez le processeur et la quantité de RAM installée.
- Ouvrez le Gestionnaire des tâches.
- Consultez l’onglet Performances pour examiner le CPU, la mémoire et le GPU.
- Vérifiez l’espace libre sur le disque destiné aux modèles.
Le raccourci Ctrl + Maj + Échap permet généralement d’ouvrir directement le Gestionnaire des tâches.
11.2. Sous macOS
- Ouvrez le menu Apple.
- Sélectionnez À propos de ce Mac.
- Relevez le type de puce et la quantité de mémoire.
- Utilisez le Moniteur d’activité pour observer l’utilisation des ressources.
- Consultez les réglages de stockage pour connaître l’espace disponible.
Sur certains Mac, CPU et GPU partagent une mémoire unifiée. Il faut tenir compte de cette architecture lors de l’évaluation des besoins.
11.3. Sous Linux
Plusieurs commandes permettent de consulter les informations système.
Ces commandes dépendent des utilitaires installés et ne couvrent pas toutes les architectures matérielles.
Pour une carte NVIDIA disposant des pilotes et outils compatibles, la commande suivante peut fournir des informations complémentaires :
Cette commande n’est pas universelle : elle ne fonctionne pas sur tous les GPU et nécessite les composants logiciels appropriés.
12. Construire une fiche de diagnostic matériel
Pour éviter les erreurs, il est utile de consigner les caractéristiques de la machine avant de choisir un modèle.
| Élément | Information à relever | Pourquoi ? |
|---|---|---|
| CPU | Modèle et architecture | Vérifier les performances et la compatibilité. |
| RAM | Capacité totale et disponible | Estimer la mémoire utilisable. |
| GPU | Modèle et type | Déterminer les possibilités d’accélération. |
| VRAM | Capacité et disponibilité | Évaluer la place disponible pour les calculs GPU. |
| Stockage | Espace libre et type de support | Prévoir les fichiers et leur chargement. |
| Système | Version et architecture | Vérifier la compatibilité du logiciel. |
| Usage | Tâches et volume de données | Choisir un modèle adapté. |
13. Comprendre les configurations possibles
Les configurations suivantes sont des profils illustratifs et non des exigences minimales universelles.
| Profil | Exemple de matériel | Utilisation envisageable |
|---|---|---|
| Découverte | CPU moderne, 8 Go de RAM, stockage disponible | Expérimentation avec certains petits modèles quantifiés, sous réserve de compatibilité. |
| Usage courant | CPU moderne, 16 Go de RAM, SSD | Exécution de plusieurs modèles compacts, avec performances variables. |
| Usage accéléré | 16 à 32 Go de RAM, GPU compatible disposant de mémoire suffisante | Accélération possible de modèles adaptés au GPU et à sa capacité mémoire. |
| Usage exigeant | Configuration spécialisée, mémoire importante et accélérateurs adaptés | Modèles volumineux, traitements lourds ou utilisateurs multiples, selon dimensionnement. |
Ces profils ne permettent pas d’affirmer qu’un modèle précis fonctionnera. Les exigences officielles du logiciel et les caractéristiques du modèle doivent toujours être vérifiées avant l’installation.
14. Méthode pour déterminer si un modèle peut fonctionner
Précisez la tâche, le nombre d’utilisateurs, la taille des documents et la rapidité attendue.
Relevez son architecture, sa taille, son format et sa quantification éventuelle.
Consultez les exigences du moteur d’inférence pour le système, le CPU et le GPU.
Considérez les poids du modèle, le contexte, les caches et les surcoûts d’exécution.
Conservez des ressources pour le système et les autres applications.
Mesurez la mémoire réellement consommée, la vitesse et la stabilité.
Réduisez la taille du modèle, le contexte ou les autres charges si nécessaire, puis recommencez le test.
15. Exemple guidé : choisir un modèle pour un ordinateur portable
Une personne possède un ordinateur présentant les caractéristiques suivantes :
- Processeur récent à plusieurs cœurs.
- 16 Go de RAM.
- GPU intégré utilisant la mémoire système.
- SSD avec 40 Go libres.
- Utilisation principale : reformulation et résumé de textes courts.
15.1. Analyse
Le stockage permet d’envisager le téléchargement de plusieurs modèles compacts, sous réserve de leur taille réelle.
La RAM constitue une ressource importante, mais il faut vérifier sa disponibilité pendant l’utilisation.
Le GPU intégré peut éventuellement être exploité si le moteur et le matériel le prennent en charge.
15.2. Première orientation
Un petit modèle de langage quantifié constitue une piste raisonnable pour commencer les essais.
Il serait prématuré de recommander un modèle volumineux sans connaître les exigences exactes du logiciel.
15.3. Validation
L’utilisateur installe un moteur compatible, charge un modèle adapté et effectue plusieurs tests :
- Une question courte.
- Une reformulation de paragraphe.
- Un résumé d’une page.
- Une conversation comportant plusieurs échanges.
Il observe ensuite la consommation mémoire, le temps de réponse et la qualité des résultats.
Si les tests sont satisfaisants, le modèle peut être conservé. Dans le cas contraire, il faut modifier la configuration ou essayer un modèle plus léger avant d’envisager l’achat de nouveau matériel.
16. Diagnostiquer les problèmes matériels courants
| Symptôme | Cause possible | Vérification |
|---|---|---|
| Le modèle ne se charge pas. | Mémoire insuffisante ou format incompatible. | Examiner les journaux et les exigences du modèle. |
| La génération est très lente. | CPU saturé, mémoire limitée ou modèle trop lourd. | Observer les ressources et mesurer le débit. |
| Le GPU n’est pas utilisé. | Pilote ou moteur incompatible, configuration incorrecte. | Vérifier la prise en charge et les paramètres. |
| Le disque se remplit. | Multiplication des modèles et fichiers temporaires. | Contrôler les répertoires de stockage. |
| L’ordinateur devient instable. | Pression mémoire, température ou autre problème système. | Examiner les journaux, la mémoire et les températures. |
| Un long document échoue. | Contexte trop important ou ressources insuffisantes. | Réduire la charge et comparer les consommations. |
17. Étude de cas : comparer deux ordinateurs
Une association souhaite utiliser une IA locale pour produire des résumés de comptes rendus.
Elle dispose de deux ordinateurs :
| Caractéristique | Ordinateur A | Ordinateur B |
|---|---|---|
| CPU | Modèle récent | Modèle plus ancien |
| RAM | 8 Go | 32 Go |
| GPU | GPU intégré | GPU dédié compatible avec le moteur envisagé |
| VRAM | Mémoire partagée | 8 Go dédiés |
| Stockage libre | 20 Go | 100 Go |
Questions
- Quel ordinateur offre le plus de marge en mémoire vive ?
- Quel ordinateur présente le plus de possibilités d’accélération GPU dans ce scénario ?
- Pourquoi ne peut-on pas conclure que l’ordinateur B sera systématiquement plus rapide ?
- Quelles informations supplémentaires faut-il obtenir avant de choisir un modèle ?
- Proposez une démarche de validation.
Afficher la correction détaillée
1. Mémoire vive
L’ordinateur B dispose de 32 Go de RAM contre 8 Go pour A. Il offre donc davantage de capacité totale, même si la mémoire réellement disponible doit être vérifiée.
2. Accélération graphique
L’ordinateur B possède un GPU dédié annoncé compatible avec le moteur envisagé et 8 Go de VRAM. Il présente donc davantage de possibilités d’accélération dans ce scénario.
3. Vitesse réelle
La vitesse dépend aussi de l’architecture du modèle, du CPU, du GPU, de la bande passante mémoire et du logiciel. La quantité de mémoire ne suffit pas à déterminer les performances.
4. Informations complémentaires
Il faut connaître le modèle à exécuter, son format, sa quantification, la longueur du contexte, le système d’exploitation, les versions des pilotes et la mémoire disponible.
5. Validation
La démarche consiste à sélectionner un modèle adapté, vérifier les exigences du moteur, tester les mêmes tâches sur les deux machines, mesurer la mémoire et le temps de réponse, puis comparer la qualité et la stabilité.
18. Les erreurs à éviter avant d’acheter du matériel
- Se baser uniquement sur le nombre de paramètres : le format et le contexte influencent aussi les besoins.
- Confondre stockage et RAM : un SSD volumineux ne compense pas automatiquement un manque de mémoire vive.
- Confondre RAM et VRAM : les architectures mémoire et les possibilités d’accès varient selon les machines.
- Acheter un GPU sans vérifier la compatibilité : le moteur doit pouvoir l’exploiter.
- Ignorer les ressources utilisées par le système : la mémoire installée n’est pas intégralement disponible.
- Tester uniquement une question courte : les usages réels peuvent nécessiter beaucoup plus de mémoire.
- Supposer qu’un modèle plus gros sera toujours meilleur : la pertinence dépend de la tâche et de la qualité recherchée.
- Oublier la consommation et le refroidissement : une utilisation prolongée peut solliciter fortement le matériel.
19. Questions fréquentes
Peut-on installer une IA locale sur un ordinateur de bureau classique ?
Oui, certains modèles peuvent fonctionner sur des ordinateurs courants. La compatibilité dépend du modèle, de son format, des ressources disponibles et du moteur d’inférence.
Faut-il obligatoirement une carte graphique NVIDIA ?
Non. Certains modèles fonctionnent sur CPU, et différents moteurs prennent en charge d’autres architectures GPU. Les compatibilités varient selon les logiciels et les systèmes.
Est-ce que 8 Go de RAM suffisent ?
Ils peuvent suffire pour certaines expérimentations avec de petits modèles. Cela ne garantit pas la compatibilité avec tous les modèles ni des performances confortables.
Quelle différence entre 16 Go de RAM et 16 Go de VRAM ?
La RAM est la mémoire de travail du système. La VRAM est la mémoire utilisée par un GPU dédié. Leurs rôles et leurs modalités d’accès diffèrent selon l’architecture.
Un SSD accélère-t-il les réponses de l’IA ?
Il accélère généralement le chargement des fichiers. Une fois le modèle chargé, la vitesse de génération dépend principalement des ressources de calcul, de la mémoire et du logiciel.
Pourquoi un modèle de 4 Go peut-il nécessiter plus de 4 Go de mémoire ?
Parce que l’exécution utilise également des caches, des données temporaires et de la mémoire pour le moteur d’inférence.
Peut-on utiliser plusieurs modèles sur le même ordinateur ?
Oui, si le stockage le permet. En revanche, charger plusieurs modèles simultanément augmente généralement les besoins en mémoire et en calcul.
Doit-on acheter du matériel avant d’essayer ?
Pas nécessairement. Il est préférable de tester d’abord un petit modèle compatible avec la configuration existante, puis d’identifier les limites réelles.
À retenir
- Le CPU peut exécuter certains modèles sans carte graphique dédiée.
- Un GPU compatible peut accélérer les calculs, mais sa présence ne garantit pas la compatibilité.
- La RAM et la VRAM constituent des ressources essentielles pour charger les modèles et leurs données de travail.
- La taille d’un fichier sur disque ne correspond pas exactement à la mémoire nécessaire pendant l’exécution.
- La quantification peut réduire les besoins en mémoire, avec des compromis variables.
- La longueur du contexte peut augmenter la consommation mémoire.
- Les besoins varient selon le modèle, son format, le logiciel et les tâches réalisées.
- Un diagnostic matériel doit précéder le choix du modèle.
- Un test représentatif reste indispensable pour valider les performances réelles.
- Il est préférable d’optimiser le choix du modèle avant d’investir dans du nouveau matériel.
Question 1 : Quels sont les cinq principaux éléments matériels à examiner avant une installation locale ?
Voir la réponse
Question 2 : Pourquoi un modèle occupant 5 Go sur disque peut-il nécessiter davantage de mémoire ?
Voir la réponse
Question 3 : Quelle est la taille théorique des poids d’un modèle de 3 milliards de paramètres représentés sur 16 bits ?
Voir la réponse
Question 4 : Pourquoi faut-il mesurer la mémoire disponible plutôt que seulement la mémoire installée ?
Voir la réponse
Question 5 : Quelle démarche faut-il suivre si un modèle ne fonctionne pas sur son ordinateur ?
Voir la réponse
Approfondissez le fonctionnement des ressources mémoire et des accélérateurs graphiques pour comprendre comment optimiser l’exécution locale des modèles.
