Intelligence artificielle · Chapitre 36 · Cours 05

Comprendre la quantification des modèles

Comment faire fonctionner un modèle d’intelligence artificielle de plusieurs milliards de paramètres sur un ordinateur disposant de ressources limitées ? La quantification permet de réduire la précision numérique utilisée pour représenter les paramètres d’un modèle. Découvrez son fonctionnement, ses avantages et les compromis à connaître avant de choisir une version quantifiée.

À la fin de ce cours, vous saurez :

  • Définir la quantification d’un modèle d’intelligence artificielle.
  • Comprendre les différences entre FP32, FP16, BF16, INT8 et les formats 4 bits.
  • Calculer le volume théorique des poids d’un modèle.
  • Expliquer les notions d’échelle, de point zéro et d’erreur de quantification.
  • Distinguer les principales méthodes de quantification.
  • Reconnaître les formats et conventions courants de modèles quantifiés.
  • Évaluer les compromis entre mémoire, performances et qualité.
  • Choisir une quantification adaptée à une configuration matérielle.
Prérequis

Avoir étudié les cours 03 et 04 consacrés aux besoins matériels, aux GPU, à la RAM et à la VRAM. Aucune connaissance avancée en mathématiques n’est nécessaire : les calculs sont expliqués progressivement.

1. Qu’est-ce que la quantification d’un modèle ?

Un modèle d’intelligence artificielle contient des paramètres numériques, souvent appelés poids.

Ces poids interviennent dans les calculs réalisés par le réseau de neurones.

Lorsqu’un modèle possède plusieurs milliards de paramètres, leur stockage et leur chargement nécessitent une quantité importante de mémoire.

La quantification consiste à représenter certaines valeurs numériques avec une précision réduite, selon une méthode déterminée.

Elle permet notamment de diminuer la taille des poids et, dans certaines conditions, d’améliorer l’efficacité de l’inférence.

Définition essentielle

La quantification est une technique de représentation numérique qui réduit le nombre de bits utilisés pour certaines données d’un modèle, afin de diminuer les besoins en mémoire et éventuellement d’accélérer les calculs.

2. Comprendre la notion de précision numérique

Un ordinateur représente les nombres sous forme binaire.

Le nombre de bits utilisé détermine notamment les valeurs représentables et leur précision.

Les modèles d’IA peuvent utiliser plusieurs formats numériques.

Format Nombre de bits Caractéristique principale
FP32 32 bits Format à virgule flottante offrant une précision relativement élevée.
FP16 16 bits Format flottant moins volumineux, avec une plage numérique plus limitée que FP32.
BF16 16 bits Format flottant conservant une plage d’exposants comparable à FP32, mais avec une précision de mantisse plus faible.
INT8 8 bits Représentation entière pouvant être utilisée dans certaines méthodes de quantification.
4 bits 4 bits Représentation compacte utilisée par différentes méthodes de quantification.

2.1. FP32

FP32 signifie floating point 32 bits.

Chaque valeur est représentée sur 32 bits, soit 4 octets.

Ce format est utilisé dans de nombreux traitements numériques, mais il nécessite davantage de mémoire que les représentations plus compactes.

2.2. FP16

FP16 utilise 16 bits, soit 2 octets par valeur.

Il permet de réduire de moitié le volume théorique des poids par rapport à FP32.

Cette réduction ne signifie pas que la consommation mémoire totale du modèle sera divisée exactement par deux.

2.3. BF16

BF16, ou bfloat16, utilise également 16 bits.

Il conserve une plage de valeurs comparable à FP32, mais représente les nombres avec moins de précision significative.

Il est particulièrement utilisé dans certains environnements d’entraînement et d’inférence.

2.4. INT8 et les représentations 4 bits

Les formats entiers de faible précision permettent de représenter les valeurs quantifiées avec moins de bits.

Une représentation 8 bits utilise théoriquement un octet par valeur, tandis qu’une représentation 4 bits utilise un demi-octet.

En pratique, des informations supplémentaires peuvent être nécessaires pour reconstruire une approximation des valeurs d’origine.

Attention

FP16 et BF16 sont des formats flottants 16 bits. INT8 et les quantifications 4 bits reposent sur d’autres représentations et mécanismes. Le nombre de bits ne suffit donc pas à décrire entièrement une méthode de quantification.

3. Pourquoi réduire le nombre de bits ?

La réduction de précision peut présenter plusieurs avantages.

Réduire la mémoire

Les poids quantifiés peuvent occuper moins de RAM ou de VRAM, ce qui facilite l’exécution sur du matériel limité.

Réduire le stockage

Les fichiers de modèles peuvent être plus compacts et donc plus simples à conserver ou à télécharger.

Limiter certains transferts

Des poids plus compacts peuvent réduire la quantité de données à déplacer entre les mémoires.

Accélérer certains calculs

Un moteur et un matériel compatibles peuvent exploiter des opérations numériques à faible précision.

Ces avantages dépendent de la méthode choisie et de sa prise en charge par le logiciel.

4. Calculer la mémoire théorique des poids

La taille théorique des poids dépend du nombre de paramètres et du nombre de bits utilisés par paramètre.

Mémoire théorique en octets = Nombre de paramètres × Nombre de bits par paramètre ÷ 8

4.1. Exemple avec un modèle de 7 milliards de paramètres

Représentation Calcul Volume théorique
FP32 7 milliards × 4 octets 28 Go
FP16 7 milliards × 2 octets 14 Go
8 bits 7 milliards × 1 octet 7 Go
4 bits 7 milliards × 0,5 octet 3,5 Go

Ces valeurs sont exprimées en gigaoctets décimaux et correspondent uniquement aux poids théoriques.

Les fichiers réels peuvent être plus volumineux en raison des métadonnées, des échelles de quantification et des autres informations nécessaires.

4.2. Calcul du taux de réduction

Pour comparer une représentation FP16 et une représentation théorique 4 bits :

Taille initiale : 14 Go Taille quantifiée théorique : 3,5 Go Réduction : (14 – 3,5) ÷ 14 × 100 = 75 %

La représentation des poids utilise donc théoriquement 75 % d’espace en moins.

À distinguer

Une réduction théorique de 75 % du volume des poids ne signifie pas une réduction de 75 % de la mémoire totale consommée pendant l’exécution.

5. Comprendre le fonctionnement mathématique de la quantification

Pour comprendre le principe, imaginons qu’un modèle utilise des valeurs numériques comportant de nombreuses décimales.

Une quantification transforme ces valeurs en une représentation appartenant à un ensemble plus restreint de niveaux numériques.

5.1. Le principe de l’échelle

Dans une quantification uniforme, une échelle permet de relier les valeurs d’origine aux valeurs quantifiées.

Une formule simplifiée est :

q = arrondi(x / s) + z

Avec :

  • x : valeur d’origine.
  • s : facteur d’échelle.
  • z : point zéro.
  • q : valeur quantifiée.

La valeur quantifiée doit également respecter l’intervalle autorisé par le format utilisé.

5.2. La déquantification

Pour reconstruire une approximation de la valeur d’origine, on peut utiliser :

x approximatif = s × (q – z)

La valeur reconstruite n’est pas nécessairement identique à la valeur initiale.

5.3. Exemple numérique

Supposons :

  • Valeur initiale : 1,37.
  • Échelle : 0,1.
  • Point zéro : 0.
Quantification : q = arrondi(1,37 / 0,1) q = arrondi(13,7) q = 14 Déquantification : x ≈ 14 × 0,1 x ≈ 1,4 Erreur absolue : |1,37 – 1,4| = 0,03

La valeur reconstruite est proche de la valeur d’origine, mais elle n’est pas exactement égale.

Ce que montre cet exemple

La quantification conserve une approximation des valeurs numériques. Une petite erreur sur chaque valeur peut être acceptable, mais ses effets doivent être évalués à l’échelle du modèle et de ses tâches.

6. Comprendre l’erreur de quantification

L’erreur de quantification correspond à l’écart entre la valeur d’origine et sa représentation reconstruite.

Elle peut être mesurée de différentes manières.

6.1. Erreur absolue

Erreur absolue = |Valeur initiale – Valeur reconstruite|

6.2. Erreur relative

Lorsque la valeur initiale est différente de zéro :

Erreur relative = Erreur absolue ÷ |Valeur initiale|

6.3. Pourquoi l’erreur est-elle importante ?

Les calculs d’un réseau de neurones utilisent un grand nombre de paramètres.

Les approximations introduites par la quantification peuvent modifier les résultats du modèle.

Les effets dépendent notamment de la méthode, des couches concernées et de la sensibilité du modèle.

Point de vigilance

Une faible erreur numérique moyenne ne garantit pas automatiquement une qualité identique sur toutes les tâches. Certaines capacités peuvent être plus sensibles que d’autres à la quantification.

7. Quantification symétrique et asymétrique

7.1. Quantification symétrique

La quantification symétrique utilise généralement un point zéro égal à zéro.

Elle convient notamment à certaines distributions de valeurs centrées autour de zéro.

7.2. Quantification asymétrique

La quantification asymétrique peut utiliser un point zéro différent de zéro.

Elle permet de représenter des intervalles qui ne sont pas nécessairement centrés sur zéro.

Type Caractéristique Intérêt
Symétrique Point zéro généralement nul. Représentation et calculs parfois simplifiés.
Asymétrique Point zéro potentiellement non nul. Adaptation à des distributions décentrées.

8. Quantification par tenseur, canal ou groupe

Une méthode de quantification doit déterminer comment calculer les paramètres de conversion numérique.

8.1. Par tenseur

Une même échelle peut être utilisée pour un ensemble complet de valeurs.

Cette méthode est relativement simple, mais elle peut être moins adaptée lorsque les valeurs présentent des distributions très différentes.

8.2. Par canal

Des échelles distinctes peuvent être utilisées pour différents canaux ou dimensions.

Cette approche peut mieux préserver certaines variations numériques.

8.3. Par groupe

Les poids sont répartis en groupes, chacun pouvant disposer de ses propres paramètres de quantification.

Cette méthode est fréquente dans plusieurs formats de modèles quantifiés.

8.4. Le compromis

Des groupes plus petits peuvent permettre une représentation plus fine, mais nécessitent généralement davantage d’informations auxiliaires.

Le résultat dépend de la méthode précise et de la structure du modèle.

9. Quantification après entraînement et entraînement conscient de la quantification

Il existe plusieurs stratégies pour obtenir un modèle quantifié.

9.1. Post-Training Quantization (PTQ)

La quantification après entraînement consiste à quantifier un modèle déjà entraîné.

Elle permet de produire une version plus compacte sans reprendre nécessairement l’ensemble de son entraînement.

Certaines méthodes utilisent des données de calibration pour mieux préserver le comportement du modèle.

9.2. Quantization-Aware Training (QAT)

L’entraînement conscient de la quantification consiste à intégrer les effets de la quantification pendant une phase d’entraînement ou d’ajustement.

Le modèle peut ainsi apprendre à mieux tolérer certaines approximations numériques.

Méthode Principe Caractéristique
PTQ Quantification d’un modèle déjà entraîné. Souvent plus simple à mettre en œuvre.
QAT Prise en compte de la quantification pendant l’entraînement. Peut mieux préserver la qualité dans certaines conditions, mais nécessite un travail supplémentaire.

10. Quantification des poids et des activations

La quantification ne concerne pas nécessairement toutes les données d’un modèle.

10.1. Quantification des poids

Elle réduit la précision utilisée pour représenter les paramètres du modèle.

Cette approche est courante pour diminuer la mémoire nécessaire à l’exécution locale des modèles de langage.

10.2. Quantification des activations

Les activations sont des valeurs intermédiaires produites pendant les calculs du réseau.

Leur quantification peut réduire certains besoins mémoire et permettre des opérations de calcul à faible précision.

10.3. Précision mixte

Un modèle peut utiliser plusieurs précisions numériques.

Certaines opérations ou certains composants peuvent conserver une précision plus élevée pour préserver la stabilité ou la qualité.

À retenir

Un modèle annoncé comme quantifié en 4 bits ne réalise pas nécessairement tous ses calculs en 4 bits. La précision des poids, des activations et des opérations peut différer.

11. Découvrir les formats et méthodes courants

Lorsqu’on télécharge un modèle local, on rencontre différentes extensions et appellations.

Il est important de distinguer le format de fichier, la méthode de quantification et la convention de nommage.

11.1. GGUF

GGUF est un format de fichier utilisé notamment dans l’écosystème llama.cpp.

Il peut contenir les poids du modèle, des métadonnées et des informations nécessaires à son chargement.

Les fichiers GGUF peuvent utiliser différentes quantifications.

11.2. GPTQ

GPTQ désigne une famille de méthodes de quantification après entraînement, particulièrement associée à la quantification des poids de modèles de langage.

Sa prise en charge dépend du moteur d’inférence et du matériel.

11.3. AWQ

AWQ, pour Activation-aware Weight Quantization, désigne une approche de quantification des poids qui tient compte de l’importance de certaines valeurs pour préserver le comportement du modèle.

11.4. Les appellations Q4, Q5 et Q8

Dans certains écosystèmes, ces appellations indiquent des familles de quantifications utilisant approximativement 4, 5 ou 8 bits pour représenter les poids.

La signification exacte dépend du format et de la méthode.

Ne pas confondre

GGUF est un format de fichier. GPTQ et AWQ désignent des approches de quantification. Les noms Q4, Q5 ou Q8 ne constituent pas des normes universelles identiques dans tous les logiciels.

12. Comprendre les noms des fichiers quantifiés

Un fichier de modèle peut comporter un nom indiquant sa famille, sa taille et sa quantification.

Exemple fictif : modele-7b-Q4_K_M.gguf

On peut y reconnaître :

  • modele : nom fictif du modèle.
  • 7b : indication d’environ 7 milliards de paramètres.
  • Q4_K_M : convention de quantification utilisée dans certains formats GGUF.
  • .gguf : extension du fichier.

La signification exacte des suffixes doit être vérifiée dans la documentation de l’outil et du fichier concerné.

Le nom ne permet pas, à lui seul, de garantir les performances ou la qualité.

13. Une quantification plus faible est-elle toujours plus rapide ?

Non. Une représentation plus compacte peut réduire les besoins mémoire, mais ne garantit pas une accélération.

La vitesse dépend notamment :

  • Des opérations prises en charge par le CPU ou le GPU.
  • Du moteur d’inférence.
  • Du coût de déquantification.
  • De la bande passante mémoire.
  • De la longueur du contexte.
  • Du nombre de requêtes simultanées.

13.1. Exemple

Un GPU peut être très efficace pour certains calculs en FP16, mais moins performant avec une méthode de quantification particulière si le moteur ne dispose pas d’opérations optimisées.

À l’inverse, sur une machine limitée par la bande passante mémoire, un modèle plus compact peut améliorer le débit.

Bonne pratique

Il faut mesurer la vitesse réelle de plusieurs versions d’un même modèle, avec le même moteur et des tâches comparables, plutôt que de déduire les performances du seul nombre de bits.

14. La quantification dégrade-t-elle la qualité ?

La quantification introduit généralement une approximation numérique.

Cette approximation peut modifier les sorties du modèle, mais l’ampleur des changements dépend de nombreux facteurs.

14.1. Les effets possibles

  • Modifications de certaines réponses.
  • Erreurs supplémentaires sur certaines tâches.
  • Variations de stabilité ou de précision.
  • Différences parfois peu perceptibles dans les usages simples.

14.2. Les tâches sensibles

Certaines tâches peuvent être particulièrement exigeantes, notamment celles qui nécessitent des calculs précis, des sorties structurées complexes ou une forte fiabilité.

Il n’existe toutefois pas de règle universelle permettant de prédire la dégradation à partir du seul nombre de bits.

14.3. Comment évaluer la qualité ?

Il faut constituer un jeu de tests représentatif de l’utilisation prévue.

Les mêmes tâches sont soumises à plusieurs versions du modèle, puis les résultats sont comparés selon des critères définis.

15. Comparer plusieurs quantifications

Pour comparer correctement plusieurs versions, il faut conserver autant que possible les mêmes conditions.

Critère Ce qu’il faut mesurer
Mémoire RAM et VRAM réellement consommées.
Stockage Taille réelle du fichier.
Vitesse Temps avant le premier token et débit de génération.
Qualité Exactitude et pertinence des réponses.
Stabilité Erreurs, interruptions et comportements inattendus.
Compatibilité Prise en charge par le moteur et le matériel.

15.1. Exemple de tableau de comparaison

Les valeurs suivantes sont fictives et servent uniquement à illustrer une méthode de test.

Version Mémoire observée Débit Qualité sur 20 tests
Version A 11 Go 12 tokens/s 19 réponses satisfaisantes
Version B 7 Go 18 tokens/s 18 réponses satisfaisantes
Version C 5 Go 21 tokens/s 15 réponses satisfaisantes

Dans cet exemple fictif, la version B présente un compromis intéressant entre mémoire, vitesse et qualité.

Ce résultat ne doit pas être généralisé à d’autres modèles ou configurations.

16. Méthode pour choisir une quantification adaptée

1
Identifier le modèle

Relevez sa famille, sa taille et les variantes disponibles.

2
Vérifier le matériel

Examinez la RAM, la VRAM, le CPU, le GPU et la mémoire réellement disponible.

3
Vérifier le moteur

Assurez-vous que le format et la méthode de quantification sont compatibles avec le logiciel utilisé.

4
Estimer la mémoire

Considérez les poids quantifiés, les caches, le contexte et les autres besoins du moteur.

5
Choisir une première variante

Privilégiez une version compatible laissant une marge de mémoire suffisante.

6
Effectuer des tests représentatifs

Mesurez la vitesse, la mémoire et la qualité sur plusieurs tâches.

7
Comparer et ajuster

Essayez une autre quantification si les performances ou la qualité ne répondent pas aux besoins.

17. Étude de cas : choisir entre trois versions

Une personne possède un ordinateur équipé de 16 Go de RAM et souhaite utiliser une IA locale pour résumer des documents courts.

Elle envisage trois versions fictives d’un même modèle :

Version Poids théoriques Caractéristique
A — 16 bits 14 Go Précision relativement élevée.
B — 8 bits 7 Go Compromis potentiel entre précision et mémoire.
C — 4 bits 3,5 Go Poids plus compacts.

Questions

  1. Quelle version possède les poids théoriquement les plus compacts ?
  2. Quel est le taux de réduction théorique entre A et C ?
  3. Pourquoi ne peut-on pas affirmer que la version A fonctionnera correctement avec 16 Go de RAM ?
  4. La version C sera-t-elle nécessairement la plus rapide ?
  5. Quelle méthode permettrait de choisir la meilleure version pour cet usage ?
Afficher la correction détaillée

1. Version la plus compacte

La version C utilise théoriquement 3,5 Go pour ses poids. Elle est donc la plus compacte parmi les trois versions présentées.

2. Taux de réduction

(14 – 3,5) ÷ 14 × 100 = 75 %. Le volume théorique des poids diminue de 75 %.

3. Limite des 16 Go de RAM

La mémoire totale doit aussi accueillir le système, les applications, les caches et les données nécessaires au moteur. Les 14 Go de poids ne représentent donc pas l’ensemble des besoins.

4. Vitesse de la version C

La version C n’est pas nécessairement la plus rapide. Les performances dépendent des optimisations du moteur, du matériel et du coût des opérations associées à la quantification.

5. Méthode de sélection

Il faut vérifier la compatibilité, mesurer la mémoire disponible, tester les versions adaptées, comparer leur débit et évaluer la qualité des résumés sur des documents représentatifs.

18. Les erreurs fréquentes

  • Confondre nombre de bits et qualité garantie : une quantification plus précise n’est pas nécessairement le meilleur choix dans toutes les situations.
  • Assimiler taille du fichier et mémoire totale : l’exécution nécessite des ressources supplémentaires.
  • Supposer qu’un modèle 4 bits est toujours plus rapide : les optimisations matérielles et logicielles sont déterminantes.
  • Confondre GGUF et méthode de quantification : GGUF est un format de fichier.
  • Ignorer les différences entre méthodes : deux variantes 4 bits peuvent présenter des comportements différents.
  • Comparer des modèles différents : une comparaison de quantification doit idéalement porter sur un même modèle de référence.
  • Tester uniquement une question simple : les tâches complexes peuvent révéler d’autres écarts de qualité.
  • Oublier la longueur du contexte : les besoins mémoire peuvent augmenter indépendamment du volume des poids.

19. Questions fréquentes

La quantification réduit-elle le nombre de paramètres du modèle ?

Pas nécessairement. Elle modifie principalement la représentation numérique des paramètres. Le nombre de paramètres peut rester identique.

Un modèle 4 bits est-il quatre fois plus petit qu’un modèle 16 bits ?

Le volume théorique des poids est divisé par quatre si tous les poids passent de 16 à 4 bits. La taille réelle du fichier et la mémoire d’exécution ne suivent pas nécessairement exactement ce rapport.

La quantification modifie-t-elle les réponses ?

Elle peut modifier les résultats, car elle introduit des approximations numériques. L’importance de ces changements dépend du modèle, de la méthode et des tâches.

Quelle différence entre FP16 et BF16 ?

Les deux formats utilisent 16 bits. BF16 conserve une plage d’exposants comparable à FP32, tandis que FP16 dispose d’une précision significative plus élevée mais d’une plage d’exposants plus restreinte.

GGUF signifie-t-il que le modèle est quantifié en 4 bits ?

Non. GGUF est un format de fichier qui peut contenir des modèles utilisant différentes représentations numériques.

Peut-on quantifier un modèle déjà entraîné ?

Oui. C’est le principe de la quantification après entraînement, appelée PTQ.

Une quantification plus forte permet-elle toujours d’utiliser un modèle plus grand ?

Elle peut réduire les besoins mémoire des poids, mais la compatibilité, les caches, le contexte et les autres ressources doivent aussi être pris en compte.

Quelle quantification choisir pour commencer ?

Il n’existe pas de réponse universelle. Il faut choisir une variante compatible avec le moteur et le matériel, puis comparer sa qualité et ses performances sur les tâches prévues.

À retenir

  • La quantification réduit la précision numérique utilisée pour représenter certaines données d’un modèle.
  • Elle permet de diminuer le volume des poids et peut faciliter l’exécution locale.
  • FP32, FP16 et BF16 sont des formats flottants ; INT8 et les représentations 4 bits reposent sur d’autres mécanismes.
  • Le volume théorique des poids dépend du nombre de paramètres et du nombre de bits par paramètre.
  • La mémoire totale nécessaire dépasse souvent le seul volume des poids.
  • La quantification introduit des approximations numériques pouvant modifier les résultats.
  • Les méthodes peuvent utiliser des échelles, des points zéro et des groupes de valeurs.
  • PTQ et QAT correspondent à deux stratégies différentes.
  • GGUF est un format de fichier ; GPTQ et AWQ désignent des approches de quantification.
  • Une représentation plus compacte n’est pas systématiquement plus rapide.
  • Le choix d’une quantification doit reposer sur la compatibilité, les mesures et la qualité obtenue.
Vérifiez votre compréhension

Question 1 : Quel est l’objectif principal de la quantification ?

Voir la réponse
Réduire la précision numérique utilisée pour certaines données du modèle afin de diminuer les besoins mémoire et, selon les conditions, améliorer l’efficacité de l’inférence.

Question 2 : Quelle est la taille théorique des poids d’un modèle de 3 milliards de paramètres représentés sur 8 bits ?

Voir la réponse
3 milliards × 1 octet = 3 milliards d’octets, soit 3 Go décimaux.

Question 3 : Quelle est la différence entre PTQ et QAT ?

Voir la réponse
PTQ quantifie un modèle déjà entraîné. QAT prend en compte les effets de la quantification pendant une phase d’entraînement ou d’ajustement.

Question 4 : Pourquoi un modèle quantifié en 4 bits n’est-il pas nécessairement plus rapide qu’une version 8 bits ?

Voir la réponse
Parce que la vitesse dépend des opérations prises en charge par le matériel, des optimisations du moteur, de la bande passante mémoire et du coût de traitement de la représentation quantifiée.

Question 5 : Comment vérifier qu’une quantification convient à un usage professionnel ?

Voir la réponse
En contrôlant la compatibilité, en mesurant les ressources et la vitesse, puis en comparant les résultats sur un ensemble de tâches représentatives avec des critères de qualité définis.
À suivre — Cours 06 Choisir un modèle adapté à son ordinateur →

Apprenez à sélectionner un modèle local en fonction des caractéristiques de votre machine, de vos besoins et des différentes versions disponibles.