Intelligence artificielle · Chapitre 15 · Cours 02

Comprendre les modèles de diffusion et autres technologies de génération

Découvrez les grandes familles de modèles capables de produire des images : diffusion, réseaux antagonistes, autoencodeurs variationnels et modèles autorégressifs. Comprenez leurs mécanismes, leurs différences et leurs limites.

À la fin de ce cours, vous saurez :

  • Expliquer le principe d’un modèle de diffusion.
  • Distinguer l’ajout de bruit pendant l’entraînement et son retrait pendant la génération.
  • Comprendre le rôle d’un espace latent.
  • Décrire le fonctionnement d’un GAN et d’un VAE.
  • Expliquer le principe d’un modèle autorégressif.
  • Comparer les technologies selon leurs caractéristiques.
  • Identifier les limites techniques des modèles génératifs.
Prérequis

Avoir compris les notions du cours 01 : prompt, données d’entraînement, représentation numérique et génération d’images.

Aucune connaissance en programmation ou en calcul différentiel n’est nécessaire.

1. Pourquoi existe-t-il plusieurs technologies de génération ?

Générer une image consiste à produire une représentation visuelle qui respecte certaines caractéristiques : objets, couleurs, disposition, style et éventuellement une description textuelle.

Il existe plusieurs manières d’apprendre à réaliser cette tâche. Les architectures ne construisent pas toutes les images de la même façon.

Modèles de diffusion

Ils apprennent à transformer progressivement une représentation bruitée en image structurée.

GAN

Deux réseaux sont entraînés dans une relation de compétition : un générateur et un discriminateur.

VAE

Ils apprennent une représentation latente probabiliste permettant de reconstruire et de générer des données.

Modèles autorégressifs

Ils génèrent une représentation visuelle par éléments successifs, par exemple des tokens.

Ces familles ne sont pas mutuellement exclusives. Un système moderne peut combiner plusieurs composants issus de technologies différentes.

2. Comprendre le principe d’un modèle de diffusion

Les modèles de diffusion reposent sur une idée : apprendre à inverser un processus qui dégrade progressivement une image en y ajoutant du bruit.

Le bruit désigne ici une perturbation numérique des valeurs représentant l’image. Il ne s’agit pas d’un bruit sonore.

2.1. Le processus d’ajout de bruit

Pendant l’entraînement, on part d’une image réelle. On lui ajoute progressivement du bruit jusqu’à obtenir une représentation très perturbée.

Image initiale Image reconnaissable
→
Bruit léger Détails perturbés
→
Bruit important Structures peu visibles
→
Bruit élevé Image méconnaissable

Le modèle apprend à estimer la perturbation ou une information équivalente permettant de retrouver une représentation moins bruitée.

Pourquoi ajouter du bruit ?

Cette dégradation contrôlée fournit un problème d’apprentissage : le modèle observe une représentation perturbée et apprend à prédire comment revenir vers les structures des images d’entraînement.

2.2. Le processus inverse : la génération

Pour créer une nouvelle image, le système démarre généralement avec une représentation bruitée.

Il applique ensuite une série d’étapes de calcul qui réduisent progressivement le bruit tout en orientant le résultat vers les caractéristiques demandées.

Bruit initial Structure aléatoire
→
Premières étapes Formes globales
→
Étapes suivantes Objets et détails
→
Résultat Image générée
Exemple : générer une forêt

Le prompt demande une forêt de sapins enneigés, au lever du soleil.

Le modèle est guidé par les représentations numériques associées à « forêt », « sapins », « neige » et « lever du soleil ».

Le processus de génération construit progressivement une image compatible avec ces indications. Les étapes intermédiaires ne correspondent pas nécessairement à une succession visible et parfaitement ordonnée de formes puis de détails.

2.3. Le rôle du prompt dans la diffusion

Dans un modèle de diffusion conditionné par du texte, un encodeur transforme le prompt en représentations numériques.

Le réseau de génération utilise ces informations pour orienter les étapes de débruitage. Des mécanismes d’attention peuvent aider à établir des relations entre les éléments du texte et ceux de l’image.

Diffusion conditionnelle et non conditionnelle

Une génération conditionnelle dépend d’informations supplémentaires, par exemple un prompt, une image de référence ou une carte de profondeur.

Une génération non conditionnelle produit des échantillons sans instruction spécifique de ce type.

3. Qu’est-ce que la diffusion latente ?

Une image haute résolution contient un grand nombre de valeurs numériques. Effectuer tous les calculs directement sur les pixels peut demander beaucoup de mémoire et de puissance.

La diffusion latente consiste à travailler dans une représentation interne, généralement plus compacte que l’image.

3.1. Le rôle de l’encodeur et du décodeur

Image Pixels
→
Encodeur Compression
→
Espace latent Représentation compacte
→
Décodeur Retour aux pixels

Dans un système de diffusion latente, le débruitage se déroule dans cet espace interne. Le décodeur convertit ensuite la représentation finale en image visible.

3.2. Pourquoi utiliser un espace latent ?

  • Réduire le volume de données manipulées pendant certaines opérations.
  • Limiter les besoins de calcul par rapport à une diffusion comparable directement sur les pixels.
  • Faciliter la manipulation de représentations visuelles apprises.
  • Permettre certaines opérations de génération et de modification.
Une compression n’est pas gratuite

Le passage par un espace latent peut entraîner des pertes d’information ou des défauts de reconstruction. La qualité dépend notamment de l’encodeur, du décodeur et du modèle génératif.

4. Comprendre les paramètres de génération

Certains outils permettent de régler plusieurs paramètres techniques. Leur nom et leur disponibilité dépendent du générateur.

Paramètre Rôle Conséquence possible
Seed Initialise la composante aléatoire. Facilite la reproductibilité dans des conditions identiques.
Étapes de génération Définit le nombre d’étapes du processus d’échantillonnage. Influence le temps de calcul et parfois la qualité.
Guidance Contrôle, dans certains modèles, l’intensité du guidage par la condition textuelle. Peut modifier la fidélité au prompt et le rendu visuel.
Sampler Détermine une méthode numérique d’échantillonnage. Peut modifier la vitesse et les caractéristiques du résultat.
Dimensions Définissent la taille de sortie demandée. Influencent la composition, les ressources et les possibilités du modèle.

Le nombre d’étapes : plus n’est pas toujours mieux

Un nombre élevé d’étapes ne garantit pas une meilleure image. Certains échantillonneurs produisent déjà des résultats satisfaisants avec relativement peu d’étapes.

Il faut tenir compte du modèle utilisé, de la méthode d’échantillonnage et du compromis entre rapidité et qualité.

Comprendre la guidance

Dans certains modèles de diffusion, le classifier-free guidance combine des prédictions conditionnées et non conditionnées afin de renforcer l’influence du prompt.

Une guidance trop élevée peut dégrader le rendu ou provoquer des effets indésirables. Une guidance trop faible peut produire une image moins fidèle à la description.

Ce réglage n’est pas universel : les valeurs pertinentes et les mécanismes varient selon les modèles.

5. Les GAN : réseaux antagonistes génératifs

Un GAN, pour Generative Adversarial Network, repose sur deux réseaux entraînés ensemble.

Le générateur

Il produit des exemples synthétiques à partir d’entrées numériques. Son objectif est de produire des résultats ressemblant aux données d’entraînement.

Le discriminateur

Il apprend à distinguer les exemples provenant des données réelles des exemples produits par le générateur.

5.1. Comment fonctionne leur compétition ?

  1. Le générateur produit une image synthétique.
  2. Le discriminateur examine des images réelles et synthétiques.
  3. Le discriminateur apprend à mieux les distinguer.
  4. Le générateur est entraîné à produire des images plus difficiles à distinguer.
  5. Les deux réseaux évoluent au fil de l’entraînement.
Une analogie pour comprendre

Imaginez un faussaire qui cherche à produire une imitation convaincante et un expert chargé de reconnaître les imitations.

En améliorant leurs performances respectives, ils poussent chacun l’autre à progresser.

Cette comparaison illustre le principe de l’entraînement antagoniste, mais les réseaux n’ont ni intentions ni compréhension humaine.

5.2. Les avantages et limites des GAN

Les GAN ont joué un rôle important dans le développement de la génération d’images, notamment pour la synthèse de visages, certains rendus photoréalistes et des transformations d’images.

Leur entraînement peut toutefois être instable. Un problème classique est le mode collapse : le générateur produit une diversité insuffisante d’images.

Ne pas confondre GAN et diffusion

Dans un GAN, la compétition entre générateur et discriminateur constitue le mécanisme central d’entraînement.

Dans un modèle de diffusion, le principe central repose sur l’apprentissage d’un processus inverse de dégradation par le bruit.

6. Les VAE : autoencodeurs variationnels

Un VAE, ou Variational Autoencoder, apprend à représenter des données dans un espace latent probabiliste.

Il comprend généralement deux composants :

  • Un encodeur qui transforme une image en paramètres d’une distribution dans l’espace latent.
  • Un décodeur qui reconstruit une image à partir d’un échantillon latent.

6.1. Le principe de reconstruction

Image d’entrée Données initiales
→
Encodeur Distribution latente
→
Échantillonnage Variable latente
→
Décodeur Image reconstruite

L’entraînement cherche notamment à obtenir des reconstructions satisfaisantes tout en organisant l’espace latent selon une distribution de référence.

6.2. Comment générer une nouvelle image ?

Une fois le VAE entraîné, on peut échantillonner une variable dans son espace latent, puis utiliser le décodeur pour produire une nouvelle image.

Un VAE n’est pas nécessairement un générateur texte-vers-image complet

Un VAE classique peut produire des images sans disposer d’un mécanisme de compréhension d’un prompt textuel.

Dans certains systèmes de diffusion latente, un autoencodeur sert principalement à convertir les images entre les pixels et l’espace latent.

7. Les modèles autorégressifs

Les modèles autorégressifs génèrent des éléments successifs en utilisant les éléments déjà produits comme contexte.

Pour les images, ces éléments peuvent être des pixels, des fragments de représentation ou des tokens visuels, selon l’architecture.

7.1. Qu’est-ce qu’un token visuel ?

Un token visuel est une unité numérique utilisée pour représenter une partie de l’information d’une image.

Dans certaines architectures, un encodeur transforme une image en une séquence de tokens discrets.

Un modèle peut ensuite apprendre à prédire les tokens suivants, avant qu’un décodeur ne transforme la séquence produite en image visible.

Prompt Description
→
Tokens Représentations visuelles
→
Prédiction Tokens successifs
→
Décodage Image finale

7.2. Quel est leur intérêt ?

Ces approches permettent d’utiliser des méthodes proches de celles employées dans certains modèles de langage, en adaptant la représentation des images.

Elles peuvent également faciliter certaines architectures multimodales, où texte et image sont traités dans un système commun.

Attention au vocabulaire

« Autorégressif » décrit une méthode de génération séquentielle. « Transformer » décrit une famille d’architectures de réseaux neuronaux.

Les deux notions ne sont pas synonymes. Un Transformer peut être utilisé dans différents types de modèles génératifs, y compris certains modèles de diffusion.

8. Les architectures hybrides et les Transformers

Les générateurs modernes peuvent combiner plusieurs mécanismes.

Par exemple, un système peut utiliser :

  • Un encodeur de texte pour représenter le prompt.
  • Un réseau de diffusion pour générer une représentation visuelle.
  • Un Transformer pour traiter certaines relations entre les éléments.
  • Un décodeur pour convertir une représentation latente en pixels.

Le rôle des Transformers

Un Transformer est une architecture qui utilise notamment des mécanismes d’attention pour traiter les relations entre des éléments d’une représentation.

Dans la génération d’images, ces éléments peuvent être des tokens de texte, des fragments visuels ou des représentations latentes.

Certains modèles de diffusion utilisent une architecture de type Transformer, parfois appelée Diffusion Transformer (DiT).

Ce qu’il faut comprendre

La diffusion décrit un principe de génération. Le Transformer décrit une architecture pouvant servir à mettre en œuvre certains calculs.

Un modèle peut donc être à la fois un modèle de diffusion et utiliser un Transformer.

9. Comparer les grandes familles de modèles

Technologie Principe central Atout caractéristique Limite possible
Diffusion Génération par étapes de débruitage. Grande flexibilité de génération et de conditionnement. Coût de calcul lié à l’échantillonnage.
GAN Entraînement antagoniste de deux réseaux. Génération parfois rapide après entraînement. Instabilité et risque de manque de diversité.
VAE Apprentissage d’un espace latent probabiliste. Représentation et échantillonnage structurés. Reconstructions parfois moins détaillées.
Autorégressif Production successive d’éléments visuels. Adaptation aux représentations par tokens. Coût de génération séquentielle selon l’architecture.

Ce tableau présente des caractéristiques générales, pas un classement absolu. Les performances dépendent de l’architecture précise, de l’entraînement, des ressources et des tâches demandées.

10. Exemple comparatif : créer un portrait synthétique

Imaginons un laboratoire souhaitant produire des portraits entièrement fictifs pour tester une interface utilisateur.

Approche Fonctionnement simplifié Point de contrôle
GAN Un générateur apprend à produire des portraits convaincants grâce à un entraînement antagoniste. Vérifier la diversité des visages et l’absence d’artefacts.
Diffusion Le modèle construit progressivement un portrait à partir d’une représentation bruitée. Vérifier la cohérence anatomique et le respect des consignes.
VAE Le modèle échantillonne un espace latent appris puis décode une image. Vérifier le niveau de détail et la qualité de reconstruction.
Autorégressif Le modèle produit successivement des tokens représentant le portrait. Vérifier la cohérence globale et le temps de génération.
Précaution importante

Même si un portrait est présenté comme fictif, une ressemblance fortuite avec une personne réelle reste possible. La diffusion publique doit tenir compte du contexte et des droits éventuellement concernés.

11. Comment choisir une technologie ?

Pour un utilisateur qui souhaite simplement générer une illustration, il n’est pas toujours nécessaire de choisir directement une architecture. Les services accessibles au public masquent souvent ces détails techniques.

En revanche, pour sélectionner un outil, comparer une solution ou développer une application, comprendre ces technologies devient utile.

1
Définir la tâche

Création à partir de texte, retouche, variation d’une image, génération en série ou reconstruction.

2
Identifier les contraintes

Qualité attendue, temps de génération, ressources disponibles, coût et confidentialité.

3
Examiner les capacités réelles

Vérifier les fonctions offertes par le modèle et l’outil, sans supposer qu’une famille garantit une fonction donnée.

4
Effectuer un essai représentatif

Tester plusieurs demandes comparables et conserver les paramètres utilisés.

5
Comparer les résultats

Évaluer la fidélité aux consignes, les erreurs visuelles, la diversité, le temps et le coût.

12. Les erreurs de compréhension à éviter

  • Penser que tous les générateurs utilisent la diffusion : plusieurs familles de modèles existent.
  • Confondre entraînement et génération : les deux phases n’ont pas le même objectif.
  • Assimiler l’espace latent à une image miniature : il s’agit d’une représentation numérique apprise.
  • Penser qu’un GAN contient deux générateurs : l’architecture classique associe un générateur et un discriminateur.
  • Confondre Transformer et diffusion : ce sont des notions techniques de nature différente.
  • Supposer qu’un grand nombre d’étapes améliore toujours l’image : la relation dépend du modèle et de l’échantillonneur.
  • Juger uniquement le photoréalisme : la cohérence, la fidélité et les droits d’utilisation comptent aussi.

13. Mise en application guidée

Une petite entreprise prépare des visuels pour son catalogue de produits.

Elle souhaite comparer plusieurs solutions de génération d’images à partir de descriptions textuelles.

Situation

Le responsable dispose de trois solutions expérimentales présentant les caractéristiques suivantes :

Solution Description
A Génération progressive à partir d’une représentation bruitée, guidée par un prompt.
B Entraînement associant un générateur et un discriminateur.
C Encodage des images dans une distribution latente, puis décodage d’échantillons.

Travail demandé

  1. Identifier la famille de modèles correspondant à A, B et C.
  2. Expliquer le rôle du bruit dans la solution A.
  3. Préciser la fonction du discriminateur dans la solution B.
  4. Expliquer le rôle du décodeur dans la solution C.
  5. Proposer trois critères concrets pour comparer les solutions.
  6. Indiquer si les descriptions suffisent pour choisir définitivement un outil.
Afficher la correction détaillée

1. Identification : A correspond à un modèle de diffusion ; B à un GAN ; C à un VAE.

2. Solution A : le modèle apprend à inverser une dégradation par ajout de bruit. Pendant la génération, il transforme progressivement une représentation bruitée en image structurée.

3. Solution B : le discriminateur apprend à distinguer les données réelles des images produites par le générateur. Son apprentissage contribue à améliorer le générateur.

4. Solution C : le décodeur transforme une variable latente échantillonnée en image visible.

5. Critères possibles : fidélité aux descriptions, cohérence des produits représentés, temps de génération. On pourrait également évaluer le coût, la résolution et les droits.

6. Décision : non. La description de la famille de modèles ne suffit pas. Il faut connaître les capacités concrètes des solutions et effectuer des tests comparables.

Conclusion : la meilleure solution est celle qui répond aux besoins réels, et non nécessairement celle qui utilise la technologie la plus récente ou la plus complexe.

14. Questions fréquentes

Les modèles de diffusion utilisent-ils toujours des pixels ?

Non. Certains travaillent directement sur des représentations en pixels, tandis que d’autres utilisent un espace latent.

Un GAN est-il forcément moins performant qu’un modèle de diffusion ?

Non. Les performances dépendent du modèle précis, de la tâche, de l’entraînement et des critères d’évaluation. Aucune famille n’est systématiquement supérieure dans toutes les situations.

Pourquoi utiliser un VAE dans un système de diffusion ?

Un autoencodeur peut permettre de convertir les images en représentations latentes compactes puis de les reconstruire. La diffusion peut alors travailler dans cet espace plutôt que directement sur les pixels.

Les Transformers remplacent-ils les modèles de diffusion ?

Pas nécessairement. Un Transformer est une architecture pouvant être utilisée au sein d’un modèle de diffusion. Les deux notions peuvent donc être complémentaires.

Peut-on reconnaître la technologie utilisée en regardant seulement l’image ?

Généralement non. Le résultat visuel ne permet pas d’identifier de façon fiable l’architecture utilisée. Il faut examiner la documentation technique du modèle.

À retenir

  • Les modèles de diffusion apprennent à inverser un processus de dégradation par ajout de bruit.
  • La diffusion latente réalise des calculs dans une représentation numérique compacte.
  • Les GAN associent un générateur et un discriminateur entraînés de manière antagoniste.
  • Les VAE utilisent un encodeur, un espace latent probabiliste et un décodeur.
  • Les modèles autorégressifs produisent des éléments successifs, notamment des tokens visuels.
  • Les Transformers peuvent être intégrés à différentes architectures, y compris certains modèles de diffusion.
  • Le choix d’un outil dépend de ses capacités vérifiées, de la qualité, du coût et des contraintes d’utilisation.
Vérifiez votre compréhension

Question 1 : Quelle différence existe-t-il entre l’ajout de bruit pendant l’entraînement et le processus de génération ?

Question 2 : Quel est le rôle du discriminateur dans un GAN ?

Question 3 : Pourquoi certains modèles travaillent-ils dans un espace latent ?

Question 4 : Un Transformer et un modèle de diffusion sont-ils nécessairement deux technologies incompatibles ?

Question 5 : Pourquoi ne peut-on pas choisir un générateur uniquement en connaissant sa famille technique ?

Afficher les réponses

1. L’entraînement apprend au modèle à inverser la dégradation ; la génération utilise cet apprentissage pour produire une image.

2. Il apprend à distinguer les images réelles des images synthétiques.

3. Pour travailler sur une représentation plus compacte et potentiellement réduire certains coûts de calcul.

4. Non. Un Transformer peut constituer une partie de l’architecture d’un modèle de diffusion.

5. Les performances réelles dépendent du modèle, de son entraînement, des fonctions proposées et des besoins à satisfaire.

Entraînement

Exercices du cours

Vérifiez votre compréhension des modèles de diffusion, des GAN, des VAE, des modèles autorégressifs et des architectures hybrides.

15 exercices prévus Débutant à avancé Corrections détaillées
Accéder aux exercices →
À suivre · Cours 03 Découvrir les principaux générateurs d’images →

Identifier les outils disponibles, leurs fonctions et les critères permettant de les comparer.