Choisir un modèle adapté à son ordinateur
Un modèle d’intelligence artificielle peut être excellent sur le papier et pourtant inutilisable sur votre ordinateur. Pour faire le bon choix, il faut concilier les capacités du matériel, les caractéristiques du modèle et les tâches à réaliser. Découvrez une méthode concrète pour sélectionner un modèle local sans gaspiller vos ressources.
À la fin de ce cours, vous saurez :
- Définir les usages attendus d’une IA locale.
- Identifier les caractéristiques matérielles de votre ordinateur.
- Comprendre les informations figurant sur une fiche de modèle.
- Présélectionner des modèles selon leur taille et leur quantification.
- Estimer les besoins en mémoire sans confondre stockage et RAM.
- Vérifier la compatibilité avec un moteur d’inférence.
- Comparer objectivement plusieurs modèles.
- Choisir un modèle adapté à une utilisation personnelle ou professionnelle.
Ce cours mobilise les notions étudiées précédemment : CPU, GPU, RAM, VRAM et quantification. Il ne nécessite pas encore d’avoir installé Ollama ou LM Studio, qui seront présentés dans les cours suivants.
1. Pourquoi le choix du modèle est-il important ?
Il existe de nombreux modèles d’intelligence artificielle capables de fonctionner localement.
Ils ne possèdent pas tous les mêmes caractéristiques :
- Nombre de paramètres.
- Architecture et capacités.
- Langues prises en charge.
- Longueur du contexte.
- Formats de distribution.
- Besoins matériels.
- Conditions de licence.
Un modèle trop volumineux peut dépasser la mémoire disponible. Un modèle trop limité peut produire des réponses insuffisantes pour les tâches prévues.
Le meilleur modèle n’est pas nécessairement le plus grand. C’est celui qui répond correctement aux besoins, avec des performances acceptables sur le matériel disponible.
2. Commencer par définir ses besoins
Avant de consulter les caractéristiques techniques, il faut identifier ce que l’on souhaite réellement faire avec l’IA.
Conversation et rédaction
Poser des questions, reformuler un texte, rédiger un message ou préparer un document.
Analyse de documents
Résumer un document, extraire des informations ou comparer plusieurs passages.
Programmation
Expliquer du code, proposer des fonctions, analyser des erreurs ou assister le développement.
Images et multimodalité
Décrire une image, analyser une capture d’écran ou traiter plusieurs types de données avec un modèle compatible.
2.1. Définir les critères de réussite
Pour chaque usage, il faut préciser :
- La qualité attendue.
- La langue principale.
- La taille habituelle des documents.
- Le temps de réponse acceptable.
- La nécessité éventuelle d’une utilisation hors connexion.
- Les contraintes de confidentialité.
Une personne souhaite utiliser une IA locale pour reformuler des courriels et résumer des documents de quelques pages.
Elle privilégiera un modèle capable de produire un français correct, disposant d’une fenêtre de contexte suffisante et fonctionnant à une vitesse confortable sur son ordinateur.
Un modèle spécialisé dans la génération de code ne constitue pas nécessairement le meilleur choix pour cet usage.
3. Identifier les caractéristiques de son ordinateur
Le choix d’un modèle doit reposer sur les ressources réellement disponibles.
3.1. Les informations indispensables
| Composant | Information à relever | Pourquoi ? |
|---|---|---|
| CPU | Modèle et architecture. | Déterminer les capacités d’exécution sur processeur. |
| RAM | Capacité installée et mémoire disponible. | Évaluer les ressources accessibles au moteur. |
| GPU | Fabricant, modèle et compatibilité logicielle. | Vérifier les possibilités d’accélération. |
| VRAM | Capacité dédiée, si applicable. | Évaluer la quantité de données pouvant résider sur GPU. |
| Stockage | Espace libre et type de disque. | Conserver les fichiers des modèles. |
| Système | Windows, macOS ou Linux, architecture et version. | Vérifier les exigences des outils. |
3.2. Sous Windows
- Ouvrez les Paramètres.
- Accédez à Système, puis Informations système.
- Relevez le processeur et la RAM installée.
- Ouvrez le Gestionnaire des tâches.
- Dans l’onglet Performances, consultez les informations CPU, mémoire et GPU.
- Vérifiez l’espace disponible dans le stockage.
3.3. Sous macOS
Utilisez les informations système accessibles depuis le menu Apple pour identifier la puce et la mémoire.
Le Moniteur d’activité permet d’observer la pression mémoire et l’utilisation des ressources.
3.4. Sous Linux
Les commandes suivantes permettent de relever plusieurs informations :
Pour un GPU NVIDIA compatible avec les pilotes et utilitaires installés :
La RAM installée n’est pas entièrement disponible pour l’IA. Le système d’exploitation et les autres applications utilisent déjà une partie de cette mémoire.
4. Comprendre la taille d’un modèle
Les modèles de langage sont souvent présentés avec une indication du nombre de paramètres.
On peut notamment rencontrer les appellations 1B, 3B, 7B, 8B, 14B ou 32B.
La lettre B signifie billion en anglais, soit un milliard en français.
| Indication | Nombre approximatif de paramètres |
|---|---|
| 1B | 1 milliard |
| 3B | 3 milliards |
| 7B | 7 milliards |
| 8B | 8 milliards |
| 14B | 14 milliards |
| 32B | 32 milliards |
4.1. Un modèle plus grand est-il toujours meilleur ?
Non. La qualité dépend aussi de l’architecture, des données d’entraînement, des méthodes d’apprentissage et des ajustements effectués.
Un modèle compact récent peut être plus performant qu’un modèle plus volumineux sur certaines tâches.
4.2. Les modèles spécialisés
Certains modèles sont optimisés pour la programmation, les mathématiques, la traduction ou d’autres usages.
Il faut donc tenir compte de leur spécialisation plutôt que de comparer uniquement leur nombre de paramètres.
5. Estimer les besoins mémoire
La taille du modèle et sa quantification donnent une première indication du volume de mémoire nécessaire.
La formule simplifiée est :
5.1. Exemple avec un modèle de 8 milliards de paramètres
| Représentation | Volume théorique des poids |
|---|---|
| FP16 — 16 bits | 16 Go |
| 8 bits | 8 Go |
| 4 bits | 4 Go |
Ces valeurs sont exprimées en gigaoctets décimaux. Elles ne comprennent pas les métadonnées, les caches et les autres besoins mémoire.
5.2. Exemple de calcul
Pour un modèle de 3 milliards de paramètres en représentation théorique 4 bits :
Le fichier réel et la mémoire nécessaire pendant l’exécution peuvent être plus importants.
La taille du fichier est utile pour présélectionner un modèle, mais elle ne suffit pas à garantir qu’il fonctionnera correctement sur un ordinateur donné.
6. Tenir compte de la quantification
Un même modèle peut être proposé dans plusieurs représentations numériques.
La quantification permet de réduire le volume de ses poids, mais elle peut modifier la qualité des résultats.
6.1. Exemple de choix
Une personne dispose d’une quantité de mémoire limitée.
Elle peut comparer plusieurs variantes d’un même modèle :
- Une version à précision relativement élevée.
- Une version quantifiée en 8 bits.
- Une version quantifiée en 4 bits.
La version 4 bits peut être plus facile à charger, mais elle n’est pas automatiquement la plus rapide ni la plus adaptée.
6.2. Ne pas choisir uniquement le format le plus compact
Une quantification plus forte peut introduire davantage d’approximations numériques.
Il faut donc vérifier que la qualité reste suffisante pour les tâches prévues.
7. Comprendre les besoins liés au contexte
La fenêtre de contexte correspond à la quantité de tokens qu’un modèle peut prendre en compte dans une interaction, selon son architecture et sa configuration.
Elle peut inclure les instructions, les messages précédents, les documents et les tokens générés, selon le fonctionnement du moteur.
7.1. Pourquoi le contexte influence-t-il la mémoire ?
De nombreux modèles de langage utilisent un cache de clés et de valeurs, appelé KV cache.
Ce cache conserve des informations intermédiaires pour éviter de recalculer inutilement certaines opérations.
Sa consommation mémoire peut augmenter avec la longueur du contexte.
7.2. Exemple
Un modèle fonctionne correctement avec un contexte de 2 048 tokens.
Lorsque la configuration passe à 16 384 tokens, les besoins mémoire peuvent augmenter sensiblement.
L’ampleur de cette augmentation dépend notamment de l’architecture du modèle, du moteur et du format du cache.
Un modèle annoncé comme compatible avec un contexte très long n’est pas nécessairement capable d’utiliser cette longueur confortablement sur toutes les machines.
8. Vérifier la compatibilité logicielle
Un modèle doit être compatible avec le moteur d’inférence choisi.
Le moteur est le logiciel qui charge le modèle et réalise les calculs nécessaires à son exécution.
8.1. Les points à vérifier
- Le format du modèle.
- Son architecture.
- La méthode de quantification.
- Les exigences du moteur.
- La compatibilité CPU ou GPU.
- La version des pilotes lorsque cela est nécessaire.
8.2. Exemples de logiciels
Ollama et LM Studio sont deux solutions permettant d’utiliser des modèles locaux.
Ils seront étudiés dans les cours 07 et 08.
Leur prise en charge des modèles et des architectures dépend des versions logicielles et des moteurs utilisés.
Avant de télécharger plusieurs gigaoctets de données, vérifiez que le modèle est réellement pris en charge par le logiciel et le matériel prévus.
9. Savoir lire une fiche de modèle
Une fiche de modèle peut fournir des informations techniques et pratiques essentielles.
| Information | Signification | Question à se poser |
|---|---|---|
| Nom et version | Identification du modèle. | S’agit-il de la version recherchée ? |
| Nombre de paramètres | Indication de la taille du réseau. | Est-il adapté aux ressources disponibles ? |
| Quantification | Représentation numérique utilisée. | Quel compromis mémoire et qualité ? |
| Architecture | Organisation interne du modèle. | Est-elle prise en charge par le moteur ? |
| Contexte | Longueur maximale annoncée. | Quelle longueur est réellement exploitable ? |
| Langues | Langues prévues ou évaluées. | Le français est-il suffisamment maîtrisé ? |
| Licence | Conditions d’utilisation. | L’usage envisagé est-il autorisé ? |
| Évaluations | Résultats de tests publiés. | Les tests correspondent-ils à mes besoins ? |
9.1. Vérifier la provenance
Il est préférable de privilégier les dépôts officiels ou les distributeurs identifiables.
Un fichier provenant d’une source inconnue peut présenter des risques de sécurité ou de fiabilité.
9.2. Vérifier la licence
Un modèle accessible gratuitement n’est pas nécessairement libre de toute restriction.
La licence peut prévoir des conditions particulières pour certains usages, notamment commerciaux ou de redistribution.
10. Modèle de base ou modèle instruction ?
Deux versions d’une même famille peuvent avoir des comportements différents.
10.1. Modèle de base
Un modèle de base est principalement entraîné à prédire ou compléter des séquences de données.
Il n’est pas nécessairement optimisé pour suivre des consignes conversationnelles.
10.2. Modèle instruction
Un modèle ajusté pour suivre des instructions est conçu pour répondre plus directement à des demandes formulées par l’utilisateur.
Il peut être désigné par des termes comme Instruct ou Chat.
Pour créer un assistant chargé de reformuler des messages et de répondre à des questions, un modèle instruction constitue généralement un point de départ plus adapté qu’un modèle de base.
11. Choisir selon le type de matériel
Les profils suivants donnent des pistes de présélection, et non des garanties de compatibilité ou de performance.
| Configuration | Première piste à examiner | Vigilance |
|---|---|---|
| 8 Go de RAM, sans GPU dédié | Modèles compacts, éventuellement autour de 1 à 3 milliards de paramètres, quantifiés. | Mémoire système limitée et performances CPU. |
| 16 Go de RAM, sans GPU dédié | Modèles compacts ou intermédiaires, avec quantification adaptée. | Débit de génération et contexte. |
| 16 Go de RAM et GPU de 8 Go de VRAM | Modèles quantifiés dont les besoins réels restent compatibles avec la VRAM. | Cache, allocations et marge mémoire. |
| 32 Go de RAM et GPU compatible | Choix potentiellement plus large, selon la VRAM et la répartition CPU/GPU. | Ne pas confondre RAM totale et VRAM disponible. |
| Système à mémoire unifiée | Modèles compatibles avec le moteur et la mémoire réellement disponible. | Mémoire partagée avec le système et bande passante. |
Un modèle peut fonctionner sur une configuration sans offrir une vitesse confortable. La validation par un essai réel reste indispensable.
12. Comprendre les performances attendues
Un modèle adapté doit être évalué sur plusieurs critères.
12.1. Le temps avant le premier token
Il mesure le délai avant le début de la réponse générée.
12.2. Le débit de génération
Il indique le nombre de tokens produits par seconde.
12.3. La mémoire consommée
Elle permet de vérifier si le modèle laisse une marge suffisante pour le système et les autres applications.
12.4. La qualité
Un modèle rapide mais incapable de répondre correctement aux besoins ne constitue pas un choix satisfaisant.
La performance doit être évaluée conjointement avec la qualité. Une réponse légèrement plus lente mais fiable peut être préférable à une réponse rapide nécessitant de nombreuses corrections.
13. Comparer plusieurs modèles de manière objective
Une comparaison doit utiliser des tâches représentatives et des conditions de test aussi similaires que possible.
13.1. Construire un jeu de tests
Pour un assistant de rédaction, on peut préparer :
- Trois demandes de reformulation.
- Deux résumés de documents.
- Deux questions nécessitant une réponse structurée.
- Une demande comportant plusieurs contraintes.
- Deux questions permettant de vérifier le respect des instructions.
13.2. Définir une grille d’évaluation
| Critère | Notation proposée |
|---|---|
| Exactitude | 0 à 5 points |
| Respect des instructions | 0 à 5 points |
| Qualité du français | 0 à 5 points |
| Clarté de la réponse | 0 à 5 points |
Chaque réponse peut obtenir une note maximale de 20 points.
Cette grille constitue un exemple pédagogique. Les critères doivent être adaptés à l’usage réel.
14. Exemple de comparaison de trois modèles
Une personne souhaite sélectionner un modèle local pour la rédaction et le résumé de documents.
Elle réalise plusieurs tests sur le même ordinateur.
Les résultats suivants sont fictifs.
| Critère | Modèle A | Modèle B | Modèle C |
|---|---|---|---|
| Mémoire utilisée | 4 Go | 7 Go | 11 Go |
| Débit | 30 tokens/s | 20 tokens/s | 10 tokens/s |
| Qualité moyenne | 13/20 | 17/20 | 18/20 |
| Stabilité | Bonne | Bonne | Variable |
14.1. Analyse
Le modèle A est le plus rapide, mais obtient la note de qualité la plus faible.
Le modèle C obtient la meilleure note de qualité, mais il est plus lent et présente une stabilité variable.
Le modèle B constitue un compromis intéressant pour cet usage fictif.
14.2. Limite de la comparaison
Le classement peut changer selon les tâches, les paramètres de génération et le matériel.
Il faut donc éviter de transformer un résultat local en classement universel.
15. Prendre en compte les licences et la sécurité
Le choix d’un modèle ne doit pas se limiter aux performances techniques.
15.1. La licence
Avant toute utilisation, il faut vérifier les conditions de la licence.
Certains modèles autorisent une utilisation commerciale, tandis que d’autres imposent des restrictions ou des obligations particulières.
15.2. La provenance du fichier
Il est recommandé de télécharger les modèles depuis des sources fiables et identifiables.
Lorsque des empreintes de vérification sont disponibles, elles peuvent être utilisées pour contrôler l’intégrité des fichiers.
15.3. La confidentialité
Une exécution locale peut limiter l’envoi des données à des services distants.
Cependant, la confidentialité dépend aussi du logiciel, de sa configuration, des extensions utilisées et des éventuelles connexions réseau.
Un modèle local n’est pas automatiquement sécurisé. Il faut également examiner le moteur d’inférence, les permissions du logiciel et les conditions de stockage des données.
16. Méthode complète pour choisir un modèle
Identifiez les usages prioritaires, la langue et le niveau de qualité attendu.
Notez le CPU, le GPU, la RAM, la VRAM, le stockage et le système.
Vérifiez les formats et architectures pris en charge par le logiciel envisagé.
Comparez les tailles, les capacités, les langues et les variantes quantifiées.
Considérez les poids, les caches, la longueur du contexte et la mémoire disponible.
Contrôlez les conditions d’utilisation et la fiabilité de la source.
Mesurez la mémoire, la vitesse, la stabilité et la qualité sur des tâches représentatives.
Conservez les résultats et justifiez la sélection selon les critères retenus.
17. Étude de cas : sélectionner un assistant IA local
Une petite entreprise souhaite disposer d’un assistant local pour reformuler des courriels et résumer des documents.
Elle possède un ordinateur équipé de :
- 16 Go de RAM.
- Un CPU récent.
- Aucun GPU dédié.
- Un SSD disposant de 100 Go libres.
Trois modèles fictifs sont envisagés.
| Modèle | Caractéristiques | Poids théoriques |
|---|---|---|
| A | 3B, 4 bits | 1,5 Go |
| B | 8B, 4 bits | 4 Go |
| C | 14B, 16 bits | 28 Go |
Questions
- Quel modèle présente les besoins théoriques les plus faibles pour ses poids ?
- Quel modèle semble le moins adapté à cette configuration ?
- Pourquoi ne peut-on pas sélectionner définitivement le modèle B à partir de sa taille ?
- Quels critères faut-il tester pour départager A et B ?
- Quelle démarche recommanderiez-vous à l’entreprise ?
Afficher la correction détaillée
1. Modèle le plus compact
Le modèle A présente les poids théoriques les plus compacts avec 1,5 Go.
2. Modèle le moins adapté
Le modèle C nécessite théoriquement 28 Go pour ses seuls poids. Il dépasse donc la capacité de RAM installée et ne constitue pas un choix réaliste dans cette configuration sans stratégie particulière.
3. Limite de la taille
Les 4 Go théoriques du modèle B ne comprennent pas les autres besoins mémoire. Sa vitesse sur CPU et sa qualité doivent également être vérifiées.
4. Critères de comparaison
Il faut mesurer la mémoire totale consommée, le débit, le temps de réponse, la stabilité et la qualité des réponses en français.
5. Démarche recommandée
Commencer par vérifier la compatibilité des modèles A et B, tester des demandes représentatives, puis comparer leurs résultats. Le modèle retenu sera celui offrant le meilleur compromis pour les besoins de l’entreprise.
18. Les erreurs fréquentes
| Erreur | Conséquence | Bonne pratique |
|---|---|---|
| Choisir le modèle le plus grand. | Consommation excessive de ressources. | Partir des besoins réels. |
| Comparer uniquement la taille des fichiers. | Sous-estimation de la mémoire d’exécution. | Mesurer la RAM et la VRAM utilisées. |
| Ignorer la quantification. | Choix matériel inadapté. | Comparer les variantes disponibles. |
| Oublier la compatibilité du moteur. | Échec de chargement. | Vérifier les formats et architectures. |
| Choisir uniquement selon la vitesse. | Qualité insuffisante. | Tester les réponses. |
| Ignorer la langue française. | Résultats inadaptés. | Évaluer les tâches en français. |
| Ignorer les licences. | Utilisation non conforme. | Lire les conditions applicables. |
| Tester une seule question. | Évaluation peu représentative. | Utiliser plusieurs tâches variées. |
19. Questions fréquentes
Peut-on utiliser une IA locale avec seulement 8 Go de RAM ?
Certains modèles compacts et quantifiés peuvent fonctionner sur des machines disposant de 8 Go de RAM. La faisabilité et la vitesse dépendent du système, du modèle et du moteur utilisé.
Faut-il obligatoirement une carte graphique ?
Non. Certains modèles peuvent fonctionner uniquement sur CPU, avec des performances variables.
Un modèle de 8 milliards de paramètres est-il toujours meilleur qu’un modèle de 3 milliards ?
Non. La qualité dépend aussi de l’entraînement, de l’architecture, de la spécialisation et des tâches évaluées.
Comment savoir si un modèle fonctionne en français ?
Il faut consulter sa documentation, puis tester plusieurs tâches représentatives en français.
Quelle différence entre un modèle de base et un modèle instruction ?
Un modèle de base est principalement entraîné à compléter des séquences. Un modèle instruction est ajusté pour mieux suivre des consignes formulées par l’utilisateur.
Pourquoi un modèle qui tient en mémoire peut-il rester lent ?
La vitesse dépend notamment du CPU, du GPU, de la bande passante mémoire, du moteur et de la longueur du contexte.
Peut-on utiliser plusieurs modèles sur le même ordinateur ?
Oui, à condition de disposer du stockage nécessaire. Leur chargement simultané peut toutefois augmenter fortement la consommation mémoire.
Quel est le meilleur modèle local ?
Il n’existe pas de meilleur modèle universel. Le choix dépend des besoins, des ressources disponibles, de la compatibilité et des résultats obtenus lors des tests.
À retenir
- Le choix d’un modèle local commence par l’identification des besoins.
- La RAM, la VRAM, le CPU et le GPU déterminent les possibilités matérielles.
- Le nombre de paramètres donne une indication de la taille, mais ne garantit pas la qualité.
- La quantification peut réduire les besoins mémoire des poids.
- La mémoire nécessaire pendant l’exécution dépasse généralement le volume théorique des poids.
- La longueur du contexte influence les ressources consommées.
- La compatibilité avec le moteur d’inférence doit être vérifiée.
- La licence et la provenance du modèle font partie des critères de sélection.
- Les performances doivent être mesurées sur des tâches représentatives.
- Le meilleur choix repose sur un compromis entre qualité, vitesse, stabilité et ressources.
Question 1 : Pourquoi faut-il définir les usages avant de choisir un modèle ?
Voir la réponse
Question 2 : Quelle est la taille théorique des poids d’un modèle de 6 milliards de paramètres représentés sur 4 bits ?
Voir la réponse
Question 3 : Pourquoi la taille d’un fichier ne suffit-elle pas à déterminer les besoins mémoire ?
Voir la réponse
Question 4 : Quels éléments faut-il vérifier avant de télécharger un modèle ?
Voir la réponse
Question 5 : Comment départager deux modèles compatibles avec le même ordinateur ?
Voir la réponse
Découvrez le fonctionnement d’Ollama, son rôle dans l’exécution locale des modèles et les principales possibilités offertes par cet outil.
