Intelligence artificielle · Chapitre 36 · Cours 06

Choisir un modèle adapté à son ordinateur

Un modèle d’intelligence artificielle peut être excellent sur le papier et pourtant inutilisable sur votre ordinateur. Pour faire le bon choix, il faut concilier les capacités du matériel, les caractéristiques du modèle et les tâches à réaliser. Découvrez une méthode concrète pour sélectionner un modèle local sans gaspiller vos ressources.

À la fin de ce cours, vous saurez :

  • Définir les usages attendus d’une IA locale.
  • Identifier les caractéristiques matérielles de votre ordinateur.
  • Comprendre les informations figurant sur une fiche de modèle.
  • Présélectionner des modèles selon leur taille et leur quantification.
  • Estimer les besoins en mémoire sans confondre stockage et RAM.
  • Vérifier la compatibilité avec un moteur d’inférence.
  • Comparer objectivement plusieurs modèles.
  • Choisir un modèle adapté à une utilisation personnelle ou professionnelle.
Prérequis

Ce cours mobilise les notions étudiées précédemment : CPU, GPU, RAM, VRAM et quantification. Il ne nécessite pas encore d’avoir installé Ollama ou LM Studio, qui seront présentés dans les cours suivants.

1. Pourquoi le choix du modèle est-il important ?

Il existe de nombreux modèles d’intelligence artificielle capables de fonctionner localement.

Ils ne possèdent pas tous les mêmes caractéristiques :

  • Nombre de paramètres.
  • Architecture et capacités.
  • Langues prises en charge.
  • Longueur du contexte.
  • Formats de distribution.
  • Besoins matériels.
  • Conditions de licence.

Un modèle trop volumineux peut dépasser la mémoire disponible. Un modèle trop limité peut produire des réponses insuffisantes pour les tâches prévues.

Principe essentiel

Le meilleur modèle n’est pas nécessairement le plus grand. C’est celui qui répond correctement aux besoins, avec des performances acceptables sur le matériel disponible.

2. Commencer par définir ses besoins

Avant de consulter les caractéristiques techniques, il faut identifier ce que l’on souhaite réellement faire avec l’IA.

Conversation et rédaction

Poser des questions, reformuler un texte, rédiger un message ou préparer un document.

Analyse de documents

Résumer un document, extraire des informations ou comparer plusieurs passages.

Programmation

Expliquer du code, proposer des fonctions, analyser des erreurs ou assister le développement.

Images et multimodalité

Décrire une image, analyser une capture d’écran ou traiter plusieurs types de données avec un modèle compatible.

2.1. Définir les critères de réussite

Pour chaque usage, il faut préciser :

  • La qualité attendue.
  • La langue principale.
  • La taille habituelle des documents.
  • Le temps de réponse acceptable.
  • La nécessité éventuelle d’une utilisation hors connexion.
  • Les contraintes de confidentialité.
Exemple

Une personne souhaite utiliser une IA locale pour reformuler des courriels et résumer des documents de quelques pages.

Elle privilégiera un modèle capable de produire un français correct, disposant d’une fenêtre de contexte suffisante et fonctionnant à une vitesse confortable sur son ordinateur.

Un modèle spécialisé dans la génération de code ne constitue pas nécessairement le meilleur choix pour cet usage.

3. Identifier les caractéristiques de son ordinateur

Le choix d’un modèle doit reposer sur les ressources réellement disponibles.

3.1. Les informations indispensables

Composant Information à relever Pourquoi ?
CPU Modèle et architecture. Déterminer les capacités d’exécution sur processeur.
RAM Capacité installée et mémoire disponible. Évaluer les ressources accessibles au moteur.
GPU Fabricant, modèle et compatibilité logicielle. Vérifier les possibilités d’accélération.
VRAM Capacité dédiée, si applicable. Évaluer la quantité de données pouvant résider sur GPU.
Stockage Espace libre et type de disque. Conserver les fichiers des modèles.
Système Windows, macOS ou Linux, architecture et version. Vérifier les exigences des outils.

3.2. Sous Windows

  1. Ouvrez les Paramètres.
  2. Accédez à Système, puis Informations système.
  3. Relevez le processeur et la RAM installée.
  4. Ouvrez le Gestionnaire des tâches.
  5. Dans l’onglet Performances, consultez les informations CPU, mémoire et GPU.
  6. Vérifiez l’espace disponible dans le stockage.

3.3. Sous macOS

Utilisez les informations système accessibles depuis le menu Apple pour identifier la puce et la mémoire.

Le Moniteur d’activité permet d’observer la pression mémoire et l’utilisation des ressources.

3.4. Sous Linux

Les commandes suivantes permettent de relever plusieurs informations :

# Informations sur le processeur lscpu # Mémoire disponible free -h # Espace disque df -h

Pour un GPU NVIDIA compatible avec les pilotes et utilitaires installés :

nvidia-smi
Attention

La RAM installée n’est pas entièrement disponible pour l’IA. Le système d’exploitation et les autres applications utilisent déjà une partie de cette mémoire.

4. Comprendre la taille d’un modèle

Les modèles de langage sont souvent présentés avec une indication du nombre de paramètres.

On peut notamment rencontrer les appellations 1B, 3B, 7B, 8B, 14B ou 32B.

La lettre B signifie billion en anglais, soit un milliard en français.

Indication Nombre approximatif de paramètres
1B1 milliard
3B3 milliards
7B7 milliards
8B8 milliards
14B14 milliards
32B32 milliards

4.1. Un modèle plus grand est-il toujours meilleur ?

Non. La qualité dépend aussi de l’architecture, des données d’entraînement, des méthodes d’apprentissage et des ajustements effectués.

Un modèle compact récent peut être plus performant qu’un modèle plus volumineux sur certaines tâches.

4.2. Les modèles spécialisés

Certains modèles sont optimisés pour la programmation, les mathématiques, la traduction ou d’autres usages.

Il faut donc tenir compte de leur spécialisation plutôt que de comparer uniquement leur nombre de paramètres.

5. Estimer les besoins mémoire

La taille du modèle et sa quantification donnent une première indication du volume de mémoire nécessaire.

La formule simplifiée est :

Volume théorique des poids = Nombre de paramètres × Nombre de bits par paramètre ÷ 8

5.1. Exemple avec un modèle de 8 milliards de paramètres

Représentation Volume théorique des poids
FP16 — 16 bits16 Go
8 bits8 Go
4 bits4 Go

Ces valeurs sont exprimées en gigaoctets décimaux. Elles ne comprennent pas les métadonnées, les caches et les autres besoins mémoire.

5.2. Exemple de calcul

Pour un modèle de 3 milliards de paramètres en représentation théorique 4 bits :

3 000 000 000 × 4 ÷ 8 = 1 500 000 000 octets = 1,5 Go théorique

Le fichier réel et la mémoire nécessaire pendant l’exécution peuvent être plus importants.

Point important

La taille du fichier est utile pour présélectionner un modèle, mais elle ne suffit pas à garantir qu’il fonctionnera correctement sur un ordinateur donné.

6. Tenir compte de la quantification

Un même modèle peut être proposé dans plusieurs représentations numériques.

La quantification permet de réduire le volume de ses poids, mais elle peut modifier la qualité des résultats.

6.1. Exemple de choix

Une personne dispose d’une quantité de mémoire limitée.

Elle peut comparer plusieurs variantes d’un même modèle :

  • Une version à précision relativement élevée.
  • Une version quantifiée en 8 bits.
  • Une version quantifiée en 4 bits.

La version 4 bits peut être plus facile à charger, mais elle n’est pas automatiquement la plus rapide ni la plus adaptée.

6.2. Ne pas choisir uniquement le format le plus compact

Une quantification plus forte peut introduire davantage d’approximations numériques.

Il faut donc vérifier que la qualité reste suffisante pour les tâches prévues.

7. Comprendre les besoins liés au contexte

La fenêtre de contexte correspond à la quantité de tokens qu’un modèle peut prendre en compte dans une interaction, selon son architecture et sa configuration.

Elle peut inclure les instructions, les messages précédents, les documents et les tokens générés, selon le fonctionnement du moteur.

7.1. Pourquoi le contexte influence-t-il la mémoire ?

De nombreux modèles de langage utilisent un cache de clés et de valeurs, appelé KV cache.

Ce cache conserve des informations intermédiaires pour éviter de recalculer inutilement certaines opérations.

Sa consommation mémoire peut augmenter avec la longueur du contexte.

7.2. Exemple

Un modèle fonctionne correctement avec un contexte de 2 048 tokens.

Lorsque la configuration passe à 16 384 tokens, les besoins mémoire peuvent augmenter sensiblement.

L’ampleur de cette augmentation dépend notamment de l’architecture du modèle, du moteur et du format du cache.

Erreur fréquente

Un modèle annoncé comme compatible avec un contexte très long n’est pas nécessairement capable d’utiliser cette longueur confortablement sur toutes les machines.

8. Vérifier la compatibilité logicielle

Un modèle doit être compatible avec le moteur d’inférence choisi.

Le moteur est le logiciel qui charge le modèle et réalise les calculs nécessaires à son exécution.

8.1. Les points à vérifier

  • Le format du modèle.
  • Son architecture.
  • La méthode de quantification.
  • Les exigences du moteur.
  • La compatibilité CPU ou GPU.
  • La version des pilotes lorsque cela est nécessaire.

8.2. Exemples de logiciels

Ollama et LM Studio sont deux solutions permettant d’utiliser des modèles locaux.

Ils seront étudiés dans les cours 07 et 08.

Leur prise en charge des modèles et des architectures dépend des versions logicielles et des moteurs utilisés.

Bonne pratique

Avant de télécharger plusieurs gigaoctets de données, vérifiez que le modèle est réellement pris en charge par le logiciel et le matériel prévus.

9. Savoir lire une fiche de modèle

Une fiche de modèle peut fournir des informations techniques et pratiques essentielles.

Information Signification Question à se poser
Nom et version Identification du modèle. S’agit-il de la version recherchée ?
Nombre de paramètres Indication de la taille du réseau. Est-il adapté aux ressources disponibles ?
Quantification Représentation numérique utilisée. Quel compromis mémoire et qualité ?
Architecture Organisation interne du modèle. Est-elle prise en charge par le moteur ?
Contexte Longueur maximale annoncée. Quelle longueur est réellement exploitable ?
Langues Langues prévues ou évaluées. Le français est-il suffisamment maîtrisé ?
Licence Conditions d’utilisation. L’usage envisagé est-il autorisé ?
Évaluations Résultats de tests publiés. Les tests correspondent-ils à mes besoins ?

9.1. Vérifier la provenance

Il est préférable de privilégier les dépôts officiels ou les distributeurs identifiables.

Un fichier provenant d’une source inconnue peut présenter des risques de sécurité ou de fiabilité.

9.2. Vérifier la licence

Un modèle accessible gratuitement n’est pas nécessairement libre de toute restriction.

La licence peut prévoir des conditions particulières pour certains usages, notamment commerciaux ou de redistribution.

10. Modèle de base ou modèle instruction ?

Deux versions d’une même famille peuvent avoir des comportements différents.

10.1. Modèle de base

Un modèle de base est principalement entraîné à prédire ou compléter des séquences de données.

Il n’est pas nécessairement optimisé pour suivre des consignes conversationnelles.

10.2. Modèle instruction

Un modèle ajusté pour suivre des instructions est conçu pour répondre plus directement à des demandes formulées par l’utilisateur.

Il peut être désigné par des termes comme Instruct ou Chat.

Exemple

Pour créer un assistant chargé de reformuler des messages et de répondre à des questions, un modèle instruction constitue généralement un point de départ plus adapté qu’un modèle de base.

11. Choisir selon le type de matériel

Les profils suivants donnent des pistes de présélection, et non des garanties de compatibilité ou de performance.

Configuration Première piste à examiner Vigilance
8 Go de RAM, sans GPU dédié Modèles compacts, éventuellement autour de 1 à 3 milliards de paramètres, quantifiés. Mémoire système limitée et performances CPU.
16 Go de RAM, sans GPU dédié Modèles compacts ou intermédiaires, avec quantification adaptée. Débit de génération et contexte.
16 Go de RAM et GPU de 8 Go de VRAM Modèles quantifiés dont les besoins réels restent compatibles avec la VRAM. Cache, allocations et marge mémoire.
32 Go de RAM et GPU compatible Choix potentiellement plus large, selon la VRAM et la répartition CPU/GPU. Ne pas confondre RAM totale et VRAM disponible.
Système à mémoire unifiée Modèles compatibles avec le moteur et la mémoire réellement disponible. Mémoire partagée avec le système et bande passante.

Un modèle peut fonctionner sur une configuration sans offrir une vitesse confortable. La validation par un essai réel reste indispensable.

12. Comprendre les performances attendues

Un modèle adapté doit être évalué sur plusieurs critères.

12.1. Le temps avant le premier token

Il mesure le délai avant le début de la réponse générée.

12.2. Le débit de génération

Il indique le nombre de tokens produits par seconde.

12.3. La mémoire consommée

Elle permet de vérifier si le modèle laisse une marge suffisante pour le système et les autres applications.

12.4. La qualité

Un modèle rapide mais incapable de répondre correctement aux besoins ne constitue pas un choix satisfaisant.

Critère de décision

La performance doit être évaluée conjointement avec la qualité. Une réponse légèrement plus lente mais fiable peut être préférable à une réponse rapide nécessitant de nombreuses corrections.

13. Comparer plusieurs modèles de manière objective

Une comparaison doit utiliser des tâches représentatives et des conditions de test aussi similaires que possible.

13.1. Construire un jeu de tests

Pour un assistant de rédaction, on peut préparer :

  • Trois demandes de reformulation.
  • Deux résumés de documents.
  • Deux questions nécessitant une réponse structurée.
  • Une demande comportant plusieurs contraintes.
  • Deux questions permettant de vérifier le respect des instructions.

13.2. Définir une grille d’évaluation

Critère Notation proposée
Exactitude0 à 5 points
Respect des instructions0 à 5 points
Qualité du français0 à 5 points
Clarté de la réponse0 à 5 points

Chaque réponse peut obtenir une note maximale de 20 points.

Cette grille constitue un exemple pédagogique. Les critères doivent être adaptés à l’usage réel.

14. Exemple de comparaison de trois modèles

Une personne souhaite sélectionner un modèle local pour la rédaction et le résumé de documents.

Elle réalise plusieurs tests sur le même ordinateur.

Les résultats suivants sont fictifs.

Critère Modèle A Modèle B Modèle C
Mémoire utilisée 4 Go 7 Go 11 Go
Débit 30 tokens/s 20 tokens/s 10 tokens/s
Qualité moyenne 13/20 17/20 18/20
Stabilité Bonne Bonne Variable

14.1. Analyse

Le modèle A est le plus rapide, mais obtient la note de qualité la plus faible.

Le modèle C obtient la meilleure note de qualité, mais il est plus lent et présente une stabilité variable.

Le modèle B constitue un compromis intéressant pour cet usage fictif.

14.2. Limite de la comparaison

Le classement peut changer selon les tâches, les paramètres de génération et le matériel.

Il faut donc éviter de transformer un résultat local en classement universel.

15. Prendre en compte les licences et la sécurité

Le choix d’un modèle ne doit pas se limiter aux performances techniques.

15.1. La licence

Avant toute utilisation, il faut vérifier les conditions de la licence.

Certains modèles autorisent une utilisation commerciale, tandis que d’autres imposent des restrictions ou des obligations particulières.

15.2. La provenance du fichier

Il est recommandé de télécharger les modèles depuis des sources fiables et identifiables.

Lorsque des empreintes de vérification sont disponibles, elles peuvent être utilisées pour contrôler l’intégrité des fichiers.

15.3. La confidentialité

Une exécution locale peut limiter l’envoi des données à des services distants.

Cependant, la confidentialité dépend aussi du logiciel, de sa configuration, des extensions utilisées et des éventuelles connexions réseau.

Point de vigilance

Un modèle local n’est pas automatiquement sécurisé. Il faut également examiner le moteur d’inférence, les permissions du logiciel et les conditions de stockage des données.

16. Méthode complète pour choisir un modèle

1
Définir les tâches

Identifiez les usages prioritaires, la langue et le niveau de qualité attendu.

2
Relever les caractéristiques du PC

Notez le CPU, le GPU, la RAM, la VRAM, le stockage et le système.

3
Choisir un moteur compatible

Vérifiez les formats et architectures pris en charge par le logiciel envisagé.

4
Présélectionner des modèles

Comparez les tailles, les capacités, les langues et les variantes quantifiées.

5
Estimer les ressources nécessaires

Considérez les poids, les caches, la longueur du contexte et la mémoire disponible.

6
Vérifier la provenance et la licence

Contrôlez les conditions d’utilisation et la fiabilité de la source.

7
Tester les candidats

Mesurez la mémoire, la vitesse, la stabilité et la qualité sur des tâches représentatives.

8
Documenter le choix

Conservez les résultats et justifiez la sélection selon les critères retenus.

17. Étude de cas : sélectionner un assistant IA local

Une petite entreprise souhaite disposer d’un assistant local pour reformuler des courriels et résumer des documents.

Elle possède un ordinateur équipé de :

  • 16 Go de RAM.
  • Un CPU récent.
  • Aucun GPU dédié.
  • Un SSD disposant de 100 Go libres.

Trois modèles fictifs sont envisagés.

Modèle Caractéristiques Poids théoriques
A 3B, 4 bits 1,5 Go
B 8B, 4 bits 4 Go
C 14B, 16 bits 28 Go

Questions

  1. Quel modèle présente les besoins théoriques les plus faibles pour ses poids ?
  2. Quel modèle semble le moins adapté à cette configuration ?
  3. Pourquoi ne peut-on pas sélectionner définitivement le modèle B à partir de sa taille ?
  4. Quels critères faut-il tester pour départager A et B ?
  5. Quelle démarche recommanderiez-vous à l’entreprise ?
Afficher la correction détaillée

1. Modèle le plus compact

Le modèle A présente les poids théoriques les plus compacts avec 1,5 Go.

2. Modèle le moins adapté

Le modèle C nécessite théoriquement 28 Go pour ses seuls poids. Il dépasse donc la capacité de RAM installée et ne constitue pas un choix réaliste dans cette configuration sans stratégie particulière.

3. Limite de la taille

Les 4 Go théoriques du modèle B ne comprennent pas les autres besoins mémoire. Sa vitesse sur CPU et sa qualité doivent également être vérifiées.

4. Critères de comparaison

Il faut mesurer la mémoire totale consommée, le débit, le temps de réponse, la stabilité et la qualité des réponses en français.

5. Démarche recommandée

Commencer par vérifier la compatibilité des modèles A et B, tester des demandes représentatives, puis comparer leurs résultats. Le modèle retenu sera celui offrant le meilleur compromis pour les besoins de l’entreprise.

18. Les erreurs fréquentes

Erreur Conséquence Bonne pratique
Choisir le modèle le plus grand. Consommation excessive de ressources. Partir des besoins réels.
Comparer uniquement la taille des fichiers. Sous-estimation de la mémoire d’exécution. Mesurer la RAM et la VRAM utilisées.
Ignorer la quantification. Choix matériel inadapté. Comparer les variantes disponibles.
Oublier la compatibilité du moteur. Échec de chargement. Vérifier les formats et architectures.
Choisir uniquement selon la vitesse. Qualité insuffisante. Tester les réponses.
Ignorer la langue française. Résultats inadaptés. Évaluer les tâches en français.
Ignorer les licences. Utilisation non conforme. Lire les conditions applicables.
Tester une seule question. Évaluation peu représentative. Utiliser plusieurs tâches variées.

19. Questions fréquentes

Peut-on utiliser une IA locale avec seulement 8 Go de RAM ?

Certains modèles compacts et quantifiés peuvent fonctionner sur des machines disposant de 8 Go de RAM. La faisabilité et la vitesse dépendent du système, du modèle et du moteur utilisé.

Faut-il obligatoirement une carte graphique ?

Non. Certains modèles peuvent fonctionner uniquement sur CPU, avec des performances variables.

Un modèle de 8 milliards de paramètres est-il toujours meilleur qu’un modèle de 3 milliards ?

Non. La qualité dépend aussi de l’entraînement, de l’architecture, de la spécialisation et des tâches évaluées.

Comment savoir si un modèle fonctionne en français ?

Il faut consulter sa documentation, puis tester plusieurs tâches représentatives en français.

Quelle différence entre un modèle de base et un modèle instruction ?

Un modèle de base est principalement entraîné à compléter des séquences. Un modèle instruction est ajusté pour mieux suivre des consignes formulées par l’utilisateur.

Pourquoi un modèle qui tient en mémoire peut-il rester lent ?

La vitesse dépend notamment du CPU, du GPU, de la bande passante mémoire, du moteur et de la longueur du contexte.

Peut-on utiliser plusieurs modèles sur le même ordinateur ?

Oui, à condition de disposer du stockage nécessaire. Leur chargement simultané peut toutefois augmenter fortement la consommation mémoire.

Quel est le meilleur modèle local ?

Il n’existe pas de meilleur modèle universel. Le choix dépend des besoins, des ressources disponibles, de la compatibilité et des résultats obtenus lors des tests.

À retenir

  • Le choix d’un modèle local commence par l’identification des besoins.
  • La RAM, la VRAM, le CPU et le GPU déterminent les possibilités matérielles.
  • Le nombre de paramètres donne une indication de la taille, mais ne garantit pas la qualité.
  • La quantification peut réduire les besoins mémoire des poids.
  • La mémoire nécessaire pendant l’exécution dépasse généralement le volume théorique des poids.
  • La longueur du contexte influence les ressources consommées.
  • La compatibilité avec le moteur d’inférence doit être vérifiée.
  • La licence et la provenance du modèle font partie des critères de sélection.
  • Les performances doivent être mesurées sur des tâches représentatives.
  • Le meilleur choix repose sur un compromis entre qualité, vitesse, stabilité et ressources.
Vérifiez votre compréhension

Question 1 : Pourquoi faut-il définir les usages avant de choisir un modèle ?

Voir la réponse
Parce que les modèles présentent des capacités différentes. Les besoins permettent de déterminer les critères de qualité, de performance et de compatibilité prioritaires.

Question 2 : Quelle est la taille théorique des poids d’un modèle de 6 milliards de paramètres représentés sur 4 bits ?

Voir la réponse
6 milliards × 4 ÷ 8 = 3 milliards d’octets, soit 3 Go décimaux.

Question 3 : Pourquoi la taille d’un fichier ne suffit-elle pas à déterminer les besoins mémoire ?

Voir la réponse
Parce que le moteur utilise également de la mémoire pour les caches, les données intermédiaires et d’autres opérations nécessaires à l’exécution.

Question 4 : Quels éléments faut-il vérifier avant de télécharger un modèle ?

Voir la réponse
La provenance, la licence, le format, l’architecture, la quantification, la compatibilité logicielle et les besoins matériels estimés.

Question 5 : Comment départager deux modèles compatibles avec le même ordinateur ?

Voir la réponse
En comparant leur qualité, leur vitesse, leur consommation mémoire et leur stabilité sur des tâches représentatives de l’utilisation prévue.
À suivre — Cours 07 Découvrir Ollama →

Découvrez le fonctionnement d’Ollama, son rôle dans l’exécution locale des modèles et les principales possibilités offertes par cet outil.