Intelligence artificielle · Chapitre 15 · Cours 07

Comprendre la génération à partir d’une image de référence

Comment transformer une photographie en illustration, modifier le décor d’un produit ou créer plusieurs visuels cohérents à partir d’une même image ? La génération à partir d’une image de référence permet d’orienter une intelligence artificielle grâce à un support visuel existant. Découvrez son fonctionnement, ses différentes techniques et les méthodes permettant de conserver les éléments importants tout en maîtrisant les transformations.

À la fin de ce cours, vous saurez :

  • Expliquer le principe de la génération image-to-image.
  • Distinguer les références de contenu, de style, de composition et de personnage.
  • Comprendre le rôle des paramètres de fidélité et de transformation.
  • Utiliser une image existante pour orienter une nouvelle génération.
  • Identifier les limites techniques, juridiques et éthiques.
  • Évaluer la cohérence entre l’image d’origine et le résultat généré.
Prérequis

Connaître les principes généraux de génération d’images par IA, les principaux styles artistiques et les notions de composition et de cadrage. Ces connaissances ont été abordées dans les cours précédents du chapitre.

1. Qu’est-ce qu’une image de référence ?

Une image de référence est une image existante utilisée pour guider la production d’une nouvelle image par intelligence artificielle.

Contrairement à la génération reposant uniquement sur une description textuelle, cette méthode fournit au modèle des informations visuelles supplémentaires.

Ces informations peuvent concerner :

  • La forme et l’apparence d’un objet.
  • Les caractéristiques visuelles d’un personnage.
  • Les couleurs dominantes et l’ambiance.
  • La composition et la disposition des éléments.
  • Le style artistique ou photographique.
  • Les textures et les détails d’une scène.

L’image de référence ne constitue pas nécessairement un modèle à reproduire à l’identique. Elle peut servir de point de départ, de contrainte visuelle ou de simple inspiration selon la technique et les paramètres utilisés.

Exemple concret

Une entreprise possède une photographie de son produit sur fond blanc. Elle souhaite créer une nouvelle illustration montrant ce produit dans un intérieur moderne.

En utilisant la photographie comme référence, elle peut demander à l’IA de conserver l’apparence du produit tout en générant un nouvel environnement.

Le résultat doit ensuite être comparé à la photographie d’origine, notamment pour vérifier que les dimensions, les caractéristiques et les détails commerciaux du produit n’ont pas été modifiés.

2. Comprendre la différence entre text-to-image et image-to-image

Deux grandes approches permettent de générer des images avec l’intelligence artificielle.

2.1. La génération text-to-image

La méthode text-to-image consiste à créer une image à partir d’une description écrite.

Exemple :

Un chat roux assis sur un fauteuil vert dans un salon lumineux, photographie réaliste, lumière naturelle, cadrage horizontal.

Le modèle interprète cette description pour produire une scène. Il ne dispose pas d’une photographie particulière du chat à représenter.

2.2. La génération image-to-image

La méthode image-to-image, souvent abrégée en img2img, utilise une image initiale comme entrée du processus de génération.

Le modèle s’appuie sur cette image, éventuellement accompagnée d’instructions textuelles, pour produire un nouveau résultat.

Exemple :

Image de référence : photographie fournie d’un chat roux. Instruction : transformer cette photographie en illustration à l’aquarelle. Conserver la posture générale, la couleur du pelage et les principaux traits visuels du chat. Remplacer l’arrière-plan par un décor végétal peint à l’aquarelle.
CritèreText-to-imageImage-to-image
Entrée principaleDescription textuelle.Image existante, souvent accompagnée d’un texte.
Point de départGénération sans image source imposée.Informations visuelles issues d’une référence.
Contrôle de l’apparencePrincipalement par le prompt et les paramètres.Par la référence, le prompt et les paramètres.
UtilisationsCréer une scène nouvelle.Transformer, adapter ou prolonger une image.
Limite principaleDifficulté à reproduire précisément un sujet particulier.Risque de modification involontaire des éléments à conserver.
Point technique

Le terme image-to-image désigne une famille de méthodes. Tous les générateurs n’utilisent pas exactement la même architecture. Certains transforment directement une représentation de l’image, tandis que d’autres exploitent des encodeurs visuels, des mécanismes d’attention ou des modules de conditionnement spécifiques.

3. Les différents types de références visuelles

Une même image peut être utilisée pour transmettre plusieurs catégories d’informations. Il est important de préciser à l’IA ce qui doit être conservé et ce qui peut être modifié.

Référence de contenu

Elle guide la représentation du sujet : objet, animal, personnage, bâtiment ou scène.

Référence de style

Elle transmet des caractéristiques esthétiques : couleurs, textures, technique artistique ou ambiance.

Référence de composition

Elle guide la disposition des éléments, les proportions, le cadrage et parfois la perspective.

Référence de personnage

Elle sert à maintenir une apparence cohérente d’une génération à l’autre, dans les limites du modèle.

3.1. Référence de contenu

Une photographie d’un vélo peut être utilisée pour créer une nouvelle scène dans laquelle le même modèle de vélo apparaît dans un environnement différent.

Les caractéristiques importantes peuvent être la forme du cadre, la couleur, les roues et les accessoires.

3.2. Référence de style

Une illustration présentant des couleurs pastel et des textures de papier peut servir à guider le rendu esthétique d’une nouvelle image.

L’objectif est alors de reprendre des caractéristiques visuelles, sans nécessairement reproduire les objets présents dans l’image de référence.

3.3. Référence de composition

Une photographie peut servir de modèle pour l’emplacement du sujet, l’horizon, les lignes directrices ou l’organisation du premier plan et de l’arrière-plan.

Le nouveau visuel peut représenter des éléments différents tout en conservant une structure similaire.

3.4. Référence de personnage

Dans une série d’illustrations, une image de référence peut aider à maintenir des caractéristiques récurrentes : coiffure, vêtements, couleurs, accessoires ou traits distinctifs.

Cette cohérence n’est cependant pas garantie. Certains modèles modifient involontairement les détails entre deux générations.

4. Comment l’IA exploite-t-elle une image de référence ?

Le fonctionnement dépend du modèle utilisé, mais les systèmes de génération conditionnée reposent généralement sur une représentation numérique des informations visuelles.

4.1. L’analyse de l’image

Un composant du modèle peut transformer l’image en une représentation numérique contenant des informations sur ses caractéristiques visuelles.

Cette représentation peut intégrer des informations relatives aux formes, aux textures, aux objets ou à leur organisation spatiale.

4.2. Le conditionnement de la génération

Les informations extraites de l’image servent à orienter la génération.

Selon l’architecture, le système peut combiner :

  • Une représentation de l’image initiale.
  • Une description textuelle.
  • Des paramètres de transformation.
  • Des contraintes de structure ou de position.

4.3. La création de la nouvelle image

Dans certaines méthodes fondées sur la diffusion, l’image initiale est encodée puis partiellement perturbée par du bruit. Le modèle reconstruit ensuite une image en tenant compte des instructions et des conditions fournies.

D’autres systèmes utilisent des méthodes différentes pour intégrer l’image de référence.

À comprendre

L’IA ne se contente pas de copier les pixels de l’image initiale. Elle peut réinterpréter les informations visuelles pour produire une nouvelle image. C’est précisément ce mécanisme qui permet les transformations, mais qui explique aussi certaines modifications inattendues.

5. Comprendre le degré de fidélité à la référence

La fidélité à la référence correspond au niveau de ressemblance recherché entre l’image d’origine et le résultat généré.

Selon les outils, ce contrôle peut être proposé sous différentes appellations : force de transformation, intensité de débruitage, poids de référence ou force du conditionnement.

Ces paramètres ne sont pas tous équivalents et leur interprétation dépend du système utilisé.

Transformation recherchéeEffet attenduExemple
FaibleConserver largement la structure et l’apparence initiales.Modifier légèrement l’éclairage d’une photographie.
ModéréeConserver le sujet tout en modifiant plusieurs caractéristiques.Transformer une photographie en illustration.
ImportanteAutoriser une réinterprétation plus libre.Transformer une scène urbaine en univers fantastique.

Dans certains outils de diffusion, une intensité de débruitage élevée permet généralement davantage de transformations, tandis qu’une intensité faible conserve davantage de caractéristiques initiales.

Il ne faut toutefois pas en déduire qu’un réglage faible garantit la conservation exacte d’un visage, d’un logo ou d’un produit.

Exemple : transformer une photographie en peinture

Avec une transformation légère, l’image peut conserver son aspect photographique tout en ajoutant quelques textures picturales.

Avec une transformation intermédiaire, les textures, les contours et les couleurs peuvent être réinterprétés.

Avec une transformation forte, la composition et certains détails du sujet peuvent changer sensiblement.

6. Les principales techniques de génération avec référence

6.1. La transformation globale d’image

La transformation globale consiste à modifier l’ensemble d’une image à partir d’une référence.

Elle peut servir à :

  • Transformer une photographie en illustration.
  • Modifier l’ambiance lumineuse.
  • Réinterpréter une scène dans un autre univers graphique.
  • Produire plusieurs variations d’un même visuel.

6.2. Le transfert de style

Le transfert de style consiste à appliquer à une image certaines caractéristiques esthétiques issues d’une autre image ou d’une description.

Ces caractéristiques peuvent concerner les couleurs, les textures, les formes ou le traitement des contours.

Le transfert de style ne garantit pas la conservation parfaite du contenu initial.

6.3. L’inpainting : modifier une zone précise

L’inpainting est une technique permettant de générer ou de remplacer une partie d’une image, généralement à l’aide d’un masque définissant la zone à modifier.

Exemple : remplacer un objet

Une photographie montre un bureau avec une lampe rouge.

On sélectionne uniquement la lampe, puis on demande de la remplacer par une lampe noire au design minimaliste.

L’objectif est de conserver le reste de la scène, même si certains outils peuvent également modifier légèrement les zones voisines.

6.4. L’outpainting : étendre une image

L’outpainting consiste à générer du contenu au-delà des limites initiales d’une image.

Cette technique permet notamment d’élargir un cadrage, d’adapter un visuel à un format horizontal ou vertical, ou de créer davantage d’espace autour du sujet.

Le contenu ajouté est une reconstruction générative : il ne représente pas nécessairement ce qui existait réellement hors du cadre d’origine.

6.5. Le contrôle de la structure

Certains outils proposent des systèmes de guidage structurel, comme ControlNet dans des environnements compatibles.

Ils peuvent exploiter des cartes de contours, de profondeur ou de pose afin de guider plus précisément la composition.

Par exemple, une représentation simplifiée de la posture d’un personnage peut aider à produire une nouvelle image respectant une position similaire.

Ces techniques nécessitent parfois des outils spécialisés et ne sont pas disponibles dans tous les générateurs.

7. Préparer une bonne image de référence

La qualité de l’image initiale influence souvent la qualité du résultat obtenu.

1
Choisir une image lisiblePrivilégier une image suffisamment nette, avec un sujet identifiable.
2
Identifier les éléments essentielsDéterminer ce qui doit rester inchangé : couleurs, formes, proportions, posture ou composition.
3
Définir les modifications autoriséesPréciser les éléments pouvant être transformés : arrière-plan, éclairage, style ou accessoires.
4
Choisir un outil adaptéVérifier qu’il accepte les images de référence et propose les fonctions nécessaires.
5
Prévoir la vérification finaleDéfinir les critères permettant de comparer la génération à l’image d’origine.
Attention aux images sensibles

Avant d’importer une photographie dans un service d’IA, vérifiez les conditions de traitement et de conservation des fichiers. Évitez de transmettre des images confidentielles, des documents personnels ou des photographies de tiers sans base légitime et sans précautions adaptées.

8. Rédiger un prompt avec une image de référence

Un bon prompt doit distinguer explicitement les caractéristiques à préserver et les éléments à modifier.

8.1. Exemple insuffisamment précis

Transforme cette photo en dessin.

Cette instruction ne précise ni le style recherché, ni les éléments à conserver, ni l’importance des modifications autorisées.

8.2. Exemple structuré

Utilise l’image jointe comme référence principale. Objectif : transformer cette photographie en illustration numérique semi-réaliste. Éléments à conserver : – Sujet principal et caractéristiques visuelles distinctives. – Posture générale. – Proportions apparentes. – Position du sujet dans le cadre. Éléments à modifier : – Remplacer l’arrière-plan par un jardin lumineux. – Appliquer des couleurs douces et harmonieuses. – Ajouter une texture d’illustration numérique. Composition : – Sujet placé au centre. – Plan moyen. – Format horizontal 16:9. Contraintes : – Ne pas ajouter de personnage. – Ne pas modifier volontairement les accessoires du sujet. – Éviter tout texte ou logo supplémentaire.

La formulation explicite permet de mieux guider le modèle, mais elle ne constitue pas une garantie de fidélité absolue.

9. Étude de cas : créer plusieurs visuels cohérents d’un personnage

Une organisation souhaite créer une série d’illustrations pédagogiques avec un personnage récurrent.

Le personnage doit apparaître dans différents environnements tout en conservant son apparence générale.

9.1. Définir les caractéristiques fixes

On prépare une fiche décrivant les éléments importants :

  • Forme générale du visage.
  • Coiffure et couleur des cheveux.
  • Vêtements caractéristiques.
  • Accessoires récurrents.
  • Palette de couleurs.
  • Style graphique.

9.2. Préparer l’image de référence

On sélectionne une illustration montrant clairement le personnage. Une vue suffisamment détaillée facilite l’identification des caractéristiques à conserver.

9.3. Générer une nouvelle scène

Utilise l’illustration fournie comme référence de personnage. Créer une nouvelle scène montrant ce personnage assis à un bureau, en train de consulter un ordinateur. Conserver : – Les principaux traits du visage. – La coiffure et sa couleur. – Les vêtements caractéristiques. – La palette graphique. – Le style d’illustration de référence. Modifier : – La posture pour représenter une position assise. – Le décor pour créer un environnement de bureau. – Les objets présents dans la scène. Format horizontal 16:9. Composition claire, personnage au premier plan.

9.4. Vérifier la cohérence

Après génération, on compare la nouvelle illustration à l’image d’origine.

Les contrôles portent notamment sur les couleurs, la forme du visage, les accessoires et les caractéristiques distinctives.

Si plusieurs détails ont changé, une nouvelle génération ou une retouche ciblée peut être nécessaire.

Bonne pratique : créer une fiche de référence

Pour un personnage récurrent, conservez une image de référence validée ainsi qu’une description écrite des caractéristiques à maintenir. Cette combinaison peut améliorer la cohérence d’une série d’illustrations.

10. Étude de cas professionnelle : modifier le décor d’un produit

Une boutique en ligne dispose d’une photographie d’une tasse en céramique blanche et souhaite présenter cette tasse dans une cuisine contemporaine.

10.1. Objectif

Conserver l’apparence de la tasse et remplacer uniquement son environnement.

10.2. Prompt proposé

Utilise la photographie fournie comme référence du produit. Conserver fidèlement : – La forme de la tasse. – Sa couleur blanche. – Les proportions générales. – La position et la forme de l’anse. – Les éventuels motifs présents sur le produit. Créer un nouvel environnement : – Plan de travail en bois clair. – Cuisine contemporaine lumineuse. – Lumière naturelle provenant de la gauche. – Arrière-plan légèrement flouté. Cadrage : – Vue à trois quarts. – Produit entièrement visible. – Format carré 1:1. Ne pas ajouter de texte, de logo ou de décoration sur la tasse.

10.3. Contrôle du résultat

Il faut comparer attentivement l’image générée avec la photographie du produit réel.

Une modification involontaire de l’anse, du motif ou des proportions peut rendre l’illustration trompeuse pour un acheteur.

Précaution commerciale

Une image générée ne doit pas présenter comme réelles des caractéristiques inexistantes du produit. Pour les éléments devant être reproduits exactement, une photographie authentique ou un montage contrôlé peut être préférable à une reconstruction générative.

11. Les limites techniques de la génération avec référence

Malgré les progrès des générateurs, plusieurs difficultés persistent.

LimiteManifestation possiblePrécaution
Perte de fidélitéModification d’un visage, d’un objet ou d’un accessoire.Comparer les caractéristiques essentielles à l’original.
Modification involontaireChangement d’éléments qui devaient rester identiques.Utiliser une retouche localisée lorsque c’est possible.
DéformationProportions incohérentes, détails ajoutés ou supprimés.Examiner les zones sensibles à fort grossissement.
Incohérence entre imagesUn personnage change d’apparence dans une série.Réutiliser une référence stable et des consignes cohérentes.
Mauvaise interprétation du styleLe modèle reproduit le contenu plutôt que l’esthétique.Préciser le rôle exact de chaque référence.
Résolution insuffisantePerte de netteté ou détails peu exploitables.Contrôler les dimensions et la qualité de sortie.

11.1. Pourquoi la fidélité parfaite est-elle difficile ?

Les modèles génératifs produisent de nouvelles images à partir de représentations apprises et de contraintes de génération. Ils ne garantissent pas une reproduction exacte de chaque caractéristique.

Une instruction comme « conserver exactement le même visage » peut donc être partiellement respectée.

11.2. Peut-on garantir un résultat identique ?

Non, pas avec une génération libre. Même lorsqu’un outil permet de réutiliser une graine aléatoire ou des paramètres identiques, la reproductibilité dépend de l’architecture, de la version du modèle et de l’environnement d’exécution.

Pour conserver des éléments pixel par pixel, il est généralement préférable d’utiliser une méthode de montage, de masquage ou d’édition non générative sur les zones concernées.

12. Les questions juridiques et éthiques

L’utilisation d’une image de référence implique plusieurs précautions, particulièrement dans un contexte professionnel.

12.1. Les droits sur l’image initiale

Une photographie ou une illustration peut être protégée par le droit d’auteur.

Le fait qu’une image soit accessible sur Internet ne signifie pas qu’elle peut être librement transformée ou réutilisée.

Il faut vérifier les autorisations, les licences applicables et les conditions d’utilisation du service d’IA.

12.2. Les personnes reconnaissables

Lorsqu’une image représente une personne identifiable, son utilisation peut soulever des questions relatives au droit à l’image, à la vie privée et à la protection des données personnelles.

La création d’une nouvelle image à partir de son portrait ne supprime pas ces obligations.

12.3. Les usages trompeurs

Une image modifiée peut donner l’impression qu’une personne, un produit ou un événement a réellement été photographié dans une situation qui n’a jamais existé.

Il convient de distinguer clairement une illustration générée d’un document présenté comme une preuve photographique.

Responsabilité de l’utilisateur

La possibilité technique de transformer une image ne constitue pas une autorisation juridique. Les droits d’utilisation, la protection des personnes et la loyauté de la présentation doivent être examinés avant toute diffusion.

13. Méthode de vérification avant publication

Pour évaluer une image générée à partir d’une référence, il est utile de séparer les critères de fidélité, de qualité et d’utilisation.

Grille d’évaluation — 10 points
  • 2 points : les caractéristiques essentielles du sujet sont conservées.
  • 2 points : les transformations demandées sont correctement réalisées.
  • 2 points : la composition et les proportions restent cohérentes.
  • 2 points : aucun défaut visuel majeur n’est présent.
  • 2 points : l’image est adaptée au support et son utilisation est autorisée.

Cette grille est indicative. Elle ne remplace pas une vérification juridique ou un contrôle de conformité approfondi lorsque l’image est utilisée dans un contexte sensible.

14. Mise en application guidée

Vous disposez d’une photographie d’un objet simple : une tasse, un carnet, une plante ou un meuble.

Votre objectif consiste à produire une nouvelle image dans laquelle cet objet apparaît dans un environnement différent, sans modifier ses caractéristiques essentielles.

1
Sélectionner la référenceChoisir une photographie claire d’un objet dont vous disposez des droits d’utilisation.
2
Définir les invariantsNoter trois caractéristiques qui doivent rester identiques.
3
Définir les transformationsChoisir un nouvel environnement, un éclairage et un cadrage.
4
Générer l’imageImporter la référence dans un outil compatible et fournir les instructions.
5
Comparer et corrigerIdentifier les différences entre la référence et le résultat, puis améliorer les consignes.

Exemple de prompt adaptable

Utilise l’image fournie comme référence principale. Sujet : conserver l’objet photographié. Caractéristiques à préserver : – Forme générale. – Couleur principale. – Proportions et détails distinctifs. Transformation : – Placer l’objet dans un nouvel environnement lumineux. – Modifier uniquement le décor et l’ambiance. – Conserver un rendu réaliste. Composition : – Sujet clairement identifiable. – Vue à trois quarts. – Objet entièrement visible. Format : carré 1:1. Ne pas ajouter de texte ni modifier volontairement l’apparence de l’objet.

Après génération, comparez les images côte à côte. Repérez au moins deux différences et déterminez si elles sont acceptables pour l’usage prévu.

15. Questions fréquentes

Une image de référence garantit-elle la reproduction exacte d’un sujet ?

Non. Elle permet de guider le modèle, mais celui-ci peut modifier certains détails. Une reproduction exacte nécessite parfois des outils de retouche ou de montage traditionnels.

Peut-on utiliser plusieurs images de référence ?

Oui, certains générateurs acceptent plusieurs références. Elles peuvent servir à guider séparément le sujet, le style ou la composition. Cette fonction dépend de l’outil utilisé.

Quelle différence entre image-to-image et inpainting ?

Image-to-image désigne une famille de transformations guidées par une image initiale. L’inpainting cible plus précisément une zone à modifier, généralement définie par un masque.

Peut-on conserver un personnage identique dans plusieurs images ?

On peut chercher à maintenir une forte cohérence grâce aux références visuelles et aux outils spécialisés, mais l’identité visuelle parfaite n’est pas garantie.

Pourquoi l’IA modifie-t-elle des éléments que je souhaite conserver ?

Parce que la génération repose sur une reconstruction ou une interprétation des informations visuelles. Les contraintes peuvent être partiellement respectées. Des instructions plus ciblées ou une édition localisée peuvent améliorer le résultat.

Peut-on utiliser une image trouvée sur Internet comme référence ?

Cela dépend des droits applicables, de la licence, des conditions du service et de l’utilisation envisagée. L’accès public à une image ne constitue pas une autorisation générale de transformation ou de diffusion.

À retenir

  • Une image de référence fournit des informations visuelles pour orienter une nouvelle génération.
  • La génération image-to-image permet de transformer une image existante à l’aide d’un modèle d’IA.
  • Les références peuvent guider le contenu, le style, la composition ou l’apparence d’un personnage.
  • Le degré de transformation dépend du modèle et des paramètres disponibles.
  • L’inpainting permet de modifier une zone ciblée ; l’outpainting permet d’étendre une image.
  • La fidélité parfaite n’est pas garantie, même avec des instructions détaillées.
  • Une vérification visuelle et juridique est indispensable avant toute utilisation professionnelle.
Vérifiez votre compréhension

Question 1 : Quelle différence existe-t-il entre text-to-image et image-to-image ?

Voir la réponse
Le text-to-image génère une image à partir d’une description textuelle. L’image-to-image utilise une image existante pour guider la création d’une nouvelle image.

Question 2 : Quelle technique permet de remplacer uniquement un objet dans une photographie ?

Voir la réponse
L’inpainting, qui permet de cibler une zone de l’image à modifier, généralement à l’aide d’un masque.

Question 3 : Pourquoi faut-il préciser les caractéristiques à conserver dans un prompt ?

Voir la réponse
Parce que le modèle peut réinterpréter ou modifier certains détails de l’image initiale. Les contraintes explicites permettent de mieux orienter la génération.

Question 4 : Une photographie trouvée sur Internet peut-elle être librement transformée et publiée ?

Voir la réponse
Pas nécessairement. Il faut vérifier les droits d’auteur, les licences, les éventuels droits des personnes représentées et les conditions d’utilisation applicables.

Question 5 : Pourquoi une image de référence ne garantit-elle pas la fidélité parfaite d’un produit ?

Voir la réponse
Parce que les modèles génératifs peuvent reconstruire ou réinterpréter les caractéristiques visuelles, ce qui peut modifier les proportions, les textures ou certains détails.
Pour aller plus loin Identifier les limites de la génération d’images

Découvrez les erreurs visuelles, les incohérences techniques et les difficultés de contrôle qui peuvent apparaître lors de la création d’images par intelligence artificielle.