Tester plusieurs variantes de prompts
Vous avez rédigé un prompt pour obtenir une réponse précise, mais le résultat reste trop vague. Vous ajoutez alors une instruction, modifiez le rôle attribué à l’IA ou fournissez un exemple. La réponse semble meilleure.
Mais comment savoir si cette amélioration vient réellement de votre modification ?
Une intelligence artificielle générative peut produire des réponses différentes à partir d’une même demande. Comparer deux résultats sans méthode peut donc conduire à de mauvaises conclusions.
Pour améliorer efficacement un prompt, il faut apprendre à tester plusieurs variantes dans des conditions comparables.
Un prompt ne doit pas être considéré comme meilleur simplement parce qu’une réponse paraît plus agréable à lire.
Il faut vérifier s’il répond plus régulièrement aux exigences de la tâche, à partir de critères définis avant les essais.
1. Objectifs pédagogiques
À la fin de ce cours, vous serez capable de :
- Expliquer pourquoi plusieurs variantes d’un prompt doivent être testées.
- Définir une hypothèse avant de modifier une instruction.
- Construire une version de référence.
- Modifier un seul élément à la fois lorsque cela est possible.
- Préparer un jeu de tests représentatif.
- Utiliser une grille de vérification identique pour les variantes.
- Répéter les essais afin d’observer la variabilité des réponses.
- Comparer les résultats sans confondre apparence et qualité.
- Identifier les limites d’un test réalisé avec peu d’exemples.
- Conserver une version améliorée et documenter les modifications.
2. Qu’est-ce qu’une variante de prompt ?
Une variante de prompt est une version modifiée d’une instruction destinée à obtenir un résultat différent ou à améliorer un comportement précis du modèle.
Les modifications peuvent concerner :
- la formulation de la demande ;
- le niveau de précision des consignes ;
- l’organisation des informations ;
- le format de sortie ;
- les exemples fournis ;
- les contraintes ;
- le contexte ;
- les étapes demandées.
Exemple
Variante A :
Variante B :
Les deux prompts poursuivent le même objectif général, mais la seconde version encadre davantage le résultat attendu.
Cela ne démontre pas encore qu’elle est meilleure : il faut examiner les réponses obtenues.
3. Pourquoi tester plutôt que modifier au hasard ?
Lorsqu’un prompt produit une réponse insatisfaisante, il est tentant d’ajouter plusieurs instructions simultanément.
Par exemple :
- attribuer un rôle d’expert ;
- demander un tableau ;
- ajouter trois exemples ;
- imposer une longueur maximale ;
- demander une conclusion.
Si le résultat s’améliore, il devient difficile de savoir quelle modification a été utile.
Si le résultat se dégrade, il est tout aussi difficile d’identifier la cause.
Modifier simultanément plusieurs éléments puis attribuer l’amélioration à une seule instruction.
Pour comprendre l’effet d’une modification, il faut autant que possible isoler ce qui change.
4. Comprendre la logique expérimentale
Tester des prompts consiste à appliquer une démarche proche d’une expérimentation.
Cette méthode permet de prendre des décisions fondées sur des observations plutôt que sur une impression.
5. Définir un problème précis
Avant de modifier un prompt, il faut identifier ce qui ne fonctionne pas.
Diagnostic insuffisant
« Les réponses ne sont pas bonnes. »
Cette formulation ne précise pas le défaut.
Diagnostic exploitable
« Sur cinq demandes, trois réponses oublient de mentionner les précautions de sécurité. »
Le problème est observable et peut être contrôlé.
Les défauts courants comprennent :
- une information obligatoire oubliée ;
- un format non respecté ;
- une réponse trop longue ;
- une explication insuffisante ;
- des calculs incorrects ;
- des informations inventées ;
- une mauvaise adaptation au public.
6. Formuler une hypothèse de test
Une hypothèse est une proposition que l’on souhaite examiner à l’aide des essais.
Situation
Un prompt génère des comptes rendus de réunion, mais oublie régulièrement les responsables des actions.
Hypothèse
« Ajouter un tableau obligatoire comportant les colonnes Action, Responsable et Échéance réduira les oublis de responsables. »
Cette hypothèse peut être testée en comparant les résultats obtenus avec et sans la nouvelle instruction.
7. Créer une version de référence
La version de référence, parfois appelée baseline, est le prompt initial utilisé comme point de comparaison.
Il est important de le conserver sans modification pendant les essais.
Version A — Référence
Version B — Variante
La version B introduit une instruction spécifique concernant les responsables et les échéances.
La comparaison doit déterminer si cette modification améliore effectivement les résultats.
8. Modifier un seul facteur à la fois
Lorsque l’objectif est de comprendre l’effet d’une instruction, il est utile de ne modifier qu’un seul facteur.
| Version | Modification | Question étudiée |
|---|---|---|
| A | Aucune | Résultat de référence |
| B | Ajout d’un format de tableau | Le format améliore-t-il la complétude ? |
| C | Ajout d’un exemple | L’exemple améliore-t-il la régularité ? |
| D | Ajout d’une consigne sur les données manquantes | Les informations inventées diminuent-elles ? |
Chaque variante doit être comparée à une référence clairement identifiée.
Cette approche est particulièrement utile pour diagnostiquer l’effet d’une modification. Elle ne permet toutefois pas, à elle seule, de mesurer les interactions entre plusieurs modifications.
9. Comprendre les interactions entre instructions
Deux instructions peuvent fonctionner différemment lorsqu’elles sont combinées.
Par exemple :
- une instruction demandant un tableau peut améliorer la structure ;
- une instruction imposant une réponse très courte peut réduire la quantité d’informations ;
- leur combinaison peut rendre certaines cellules du tableau incomplètes.
Il peut donc être utile, après les premiers essais isolés, de tester certaines combinaisons.
| Variante | Tableau obligatoire | Limite de longueur |
|---|---|---|
| A | Non | Non |
| B | Oui | Non |
| C | Non | Oui |
| D | Oui | Oui |
Ce type de plan permet d’observer si la combinaison produit un résultat différent de celui attendu à partir des modifications isolées.
10. Maintenir des conditions comparables
Pour comparer deux prompts, il faut éviter que d’autres paramètres changent sans contrôle.
Selon les possibilités de la plateforme, il faut notamment conserver :
- le même modèle et sa version ;
- les mêmes données d’entrée ;
- les mêmes instructions de niveau supérieur ;
- les mêmes outils accessibles ;
- les mêmes paramètres de génération ;
- le même format de contexte ;
- la même grille de vérification.
Exemple de comparaison incorrecte
Le prompt A est testé avec un petit modèle, puis le prompt B avec un modèle plus performant.
Si B obtient un meilleur résultat, il est impossible d’attribuer cette amélioration uniquement au prompt.
Le modèle utilisé constitue ici une variable supplémentaire.
11. Le rôle des paramètres de génération
Certains outils permettent de régler des paramètres influençant la génération.
Parmi eux, on trouve parfois la température, qui influence la distribution des réponses possibles.
De manière générale, une température plus faible peut favoriser des sorties plus concentrées sur les choix les plus probables, tandis qu’une température plus élevée peut accroître la diversité.
Le comportement exact dépend toutefois du modèle et de son implémentation.
Une température faible, même égale à zéro lorsqu’elle est disponible, ne garantit pas nécessairement une réponse parfaitement identique à chaque exécution.
Certains services ne permettent pas de régler ce paramètre. Dans ce cas, il faut simplement documenter les conditions réellement disponibles.
12. Pourquoi une seule réponse ne suffit pas toujours
Les modèles génératifs peuvent produire des résultats variables.
Un prompt peut réussir une fois puis échouer sur une autre tentative.
Exemple fictif
Un prompt doit extraire trois informations obligatoires d’un document.
Sur cinq essais avec la même entrée :
- essai 1 : trois informations présentes ;
- essai 2 : deux informations présentes ;
- essai 3 : trois informations présentes ;
- essai 4 : trois informations présentes ;
- essai 5 : une information présente.
Le prompt réussit complètement trois fois sur cinq.
Une seule exécution réussie aurait donné une impression trop favorable de sa fiabilité.
13. Répéter les essais
Lorsque la tâche est importante, plusieurs essais permettent d’observer la régularité des résultats.
Le nombre nécessaire dépend :
- du niveau de risque ;
- de la variabilité du modèle ;
- de la diversité des situations ;
- de l’écart que l’on cherche à détecter ;
- des moyens disponibles.
Pour un premier diagnostic pédagogique, quelques essais peuvent aider à repérer des défauts évidents.
Pour une décision professionnelle importante, un protocole plus solide et un nombre d’observations adapté sont nécessaires.
Il n’existe pas de nombre universel de répétitions garantissant qu’un prompt est fiable. Cinq ou dix essais peuvent être utiles pour explorer un problème, mais restent souvent insuffisants pour tirer une conclusion générale.
14. Tester plusieurs entrées différentes
Répéter exactement la même demande permet d’étudier une partie de la variabilité.
Mais un prompt doit souvent fonctionner sur plusieurs situations.
Il faut donc distinguer :
- la répétition : plusieurs essais avec une même entrée ;
- la diversité : plusieurs entrées représentant des situations différentes.
Exemple : extraction de données de factures
Jeu de tests possible :
- Facture simple avec toutes les informations.
- Facture comportant plusieurs lignes.
- Facture avec remise.
- Document sans date identifiable.
- Facture contenant un avoir ou une régularisation.
- Document dont la qualité du texte est insuffisante.
Un prompt efficace sur une facture simple peut échouer sur une facture plus complexe.
15. Construire un jeu de tests représentatif
Un jeu de tests rassemble des entrées choisies pour examiner le comportement d’un prompt.
Il doit couvrir les principales situations d’utilisation.
| Catégorie | Objectif | Exemple |
|---|---|---|
| Cas courant | Vérifier le fonctionnement habituel | Compte rendu complet |
| Cas complexe | Tester plusieurs contraintes | Compte rendu avec nombreuses décisions |
| Données manquantes | Vérifier la gestion de l’incertitude | Action sans responsable |
| Cas ambigu | Vérifier l’absence de conclusions injustifiées | Responsabilité évoquée sans attribution claire |
| Cas limite | Tester une frontière de règle | Texte exactement à la longueur maximale |
| Cas contradictoire | Tester le traitement des incohérences | Deux échéances différentes dans le document |
16. Séparer les données d’entraînement des données de test
Lorsqu’on améliore un prompt à partir d’exemples, il faut éviter de mesurer uniquement ses performances sur ces mêmes exemples.
Sinon, on risque de créer une instruction très efficace sur quelques cas connus, mais peu adaptée aux nouveaux documents.
On peut distinguer :
- un ensemble de développement : utilisé pour observer les erreurs et modifier le prompt ;
- un ensemble de validation : utilisé pour comparer les variantes ;
- un ensemble de test final : conservé à l’écart pour vérifier le résultat retenu.
Évitez de modifier continuellement le prompt après avoir consulté les résultats du jeu de test final. Celui-ci perdrait progressivement son rôle de vérification indépendante.
17. Comprendre le surajustement
Le surajustement apparaît lorsqu’une solution est trop adaptée aux exemples utilisés pendant son développement et se comporte moins bien sur de nouvelles situations.
Exemple
Un utilisateur construit un prompt pour extraire des montants de factures.
Après plusieurs modifications, le prompt fonctionne parfaitement sur les trois factures utilisées pendant les essais.
Mais il échoue sur une facture provenant d’un autre fournisseur.
Le prompt a peut-être été optimisé pour les particularités des documents connus plutôt que pour la tâche générale.
Pour limiter ce risque, il faut tester des exemples variés et conserver des cas qui n’ont pas servi à modifier les instructions.
18. Utiliser la même grille pour toutes les variantes
Le cours précédent a montré comment concevoir des grilles de vérification indépendantes.
Ces grilles sont essentielles pour comparer plusieurs prompts.
La même grille doit être appliquée aux réponses des différentes variantes, sauf si l’expérience porte explicitement sur des objectifs distincts.
Grille d’un compte rendu
- Toutes les décisions sont identifiées.
- Chaque action est présente.
- Les responsables sont correctement attribués.
- Les échéances ne sont pas inventées.
- Le format demandé est respecté.
Si le prompt A est évalué sur trois critères et le prompt B sur cinq autres, la comparaison n’est plus cohérente.
19. Définir des indicateurs avant les essais
Un indicateur permet de décrire une dimension du résultat.
Par exemple :
- proportion de réponses respectant le format ;
- nombre d’informations obligatoires retrouvées ;
- nombre d’erreurs factuelles constatées ;
- proportion de calculs exacts ;
- temps de génération ;
- coût estimé des appels au modèle ;
- nombre de corrections humaines nécessaires.
Le choix des indicateurs dépend de la tâche.
Un prompt peut être plus court ou plus rapide sans être plus exact. Il faut donc éviter de réduire la comparaison à un seul indicateur lorsque plusieurs dimensions sont importantes.
20. Calculer un taux de réussite
Un taux de réussite peut être calculé lorsque chaque essai possède un résultat binaire clairement défini.
Taux de réussite = nombre d’essais réussis ÷ nombre total d’essais × 100.
Exemple fictif
Variante A : 12 essais réussis sur 20.
12 ÷ 20 × 100 = 60 %.
Variante B : 16 essais réussis sur 20.
16 ÷ 20 × 100 = 80 %.
Différence observée : 20 points de pourcentage.
Dans cet échantillon, la variante B présente un meilleur taux de réussite.
Cela ne suffit pas à garantir qu’elle conservera cet avantage sur toutes les futures demandes.
21. Ne pas confondre pourcentage et points de pourcentage
Lorsqu’on compare deux taux, il faut distinguer leur différence absolue et leur évolution relative.
Taux initial : 60 %.
Taux final : 80 %.
Différence en points :
80 − 60 = 20 points de pourcentage.
Augmentation relative du taux :
(80 − 60) ÷ 60 × 100 ≈ 33,33 %.
Dire que le taux est passé de 60 % à 80 % ne signifie donc pas qu’il a augmenté de 20 %.
22. Comprendre la variabilité des résultats
Deux variantes peuvent afficher des moyennes proches, mais une régularité différente.
Scores fictifs sur cinq essais
Variante A : 100, 100, 100, 50, 50.
Variante B : 80, 80, 80, 80, 80.
Moyenne A :
(100 + 100 + 100 + 50 + 50) ÷ 5 = 80.
Moyenne B :
(80 × 5) ÷ 5 = 80.
Les deux variantes ont la même moyenne.
Mais A présente des résultats très différents selon les essais, tandis que B est stable dans cet exemple.
Le meilleur choix dépend du contexte : certaines applications privilégient la régularité, tandis que d’autres tolèrent davantage de variation.
23. Comparer les réponses en aveugle
Une comparaison peut être influencée par les attentes de la personne qui évalue.
Si elle sait qu’une réponse provient du nouveau prompt, elle peut être tentée de la juger plus favorablement.
Une solution consiste à masquer l’origine des réponses.
Cette méthode peut réduire certains biais, sans supprimer toutes les erreurs d’évaluation.
24. Randomiser l’ordre de présentation
Dans une comparaison de réponses, l’ordre de présentation peut influencer le jugement.
Il est donc utile d’alterner ou de répartir aléatoirement la position des variantes.
Par exemple :
- pour certains cas, présenter A puis B ;
- pour d’autres, présenter B puis A ;
- masquer les étiquettes lorsque cela est possible.
Cette précaution est particulièrement pertinente pour les évaluations humaines ou réalisées par un autre modèle.
25. Les limites d’une évaluation par une autre IA
Un modèle peut comparer les réponses de deux autres prompts.
Mais cette méthode ne garantit pas une évaluation indépendante et correcte.
Le modèle évaluateur peut :
- préférer une réponse plus longue ;
- être influencé par le style ;
- mal interpréter une consigne ;
- ne pas détecter une erreur factuelle ;
- reproduire certains biais du modèle évalué.
Pour les critères vérifiables, privilégiez des contrôles fondés sur des données, des tests, des calculs ou des sources adaptées.
Une évaluation par IA peut compléter ces contrôles, mais ne doit pas être confondue avec une preuve d’exactitude.
26. Exemple : comparer deux prompts de rédaction
Objectif
Rédiger un courriel professionnel confirmant la réception d’une demande, sans promettre de délai.
Prompt A
Prompt B
Grille de comparaison
| Critère | Méthode | Importance |
|---|---|---|
| Réception confirmée | Inspection du texte | Majeure |
| Aucun délai inventé | Recherche d’engagements non autorisés | Critique |
| Aucune information inventée | Comparaison avec les données fournies | Critique |
| Ton professionnel | Relecture selon une charte | Majeure |
| Formule de politesse | Inspection du texte | Mineure |
Il faut ensuite appliquer cette grille à plusieurs demandes client représentatives.
La variante B formule davantage d’exigences, mais seule la comparaison des résultats permettra de déterminer son avantage réel.
27. Exemple : comparer deux prompts d’extraction
Situation
Une entreprise souhaite extraire le nom du client, le numéro de facture et le montant HT.
Prompt A
Prompt B
Hypothèse
La variante B devrait réduire les omissions de champs et les déductions injustifiées.
Contrôles
- Les trois champs sont-ils présents ?
- Les valeurs correspondent-elles au document ?
- Les informations manquantes sont-elles signalées ?
- Le format est-il respecté ?
Les documents utilisés doivent comprendre des cas simples, complexes et incomplets.
28. Exemple : tester un prompt de calcul
Les tâches numériques permettent d’utiliser des résultats attendus calculés indépendamment.
Prompt A
Prompt B
Jeu de tests
| Valeur initiale | Valeur finale | Résultat attendu |
|---|---|---|
| 100 | 120 | +20 % |
| 200 | 150 | −25 % |
| 80 | 80 | 0 % |
| 0 | 50 | Non défini selon la formule usuelle |
| 50 | 0 | −100 % |
Ce jeu permet de tester des hausses, des baisses, une stabilité et un cas particulier.
Il faut comparer les résultats réels obtenus, sans présumer que la variante B réussira tous les tests.
29. Exemple : tester des prompts de support informatique
Dans un contexte de support informatique, la qualité d’une réponse dépend souvent de sa précision, de son ordre logique et des risques associés aux actions proposées.
Prompt A
Prompt B
Cas à tester
- Un seul poste ne peut plus accéder à Internet.
- Plusieurs postes d’un même service sont affectés.
- Le réseau fonctionne, mais un site particulier est inaccessible.
- Le poste ne possède pas d’adresse IP utilisable.
- L’utilisateur ne dispose pas des droits administrateur.
La grille doit notamment contrôler l’absence d’actions risquées injustifiées et la pertinence du diagnostic proposé.
30. Documenter chaque variante
Sans suivi, il devient rapidement difficile de retrouver les modifications et leurs effets.
Une fiche de variante peut contenir :
31. Construire un tableau de suivi des essais
| Test | Variante | Format | Exactitude | Complétude | Décision |
|---|---|---|---|---|---|
| 01 | A | Conforme | Conforme | Non conforme | Échec |
| 01 | B | Conforme | Conforme | Conforme | Réussite |
| 02 | A | Non conforme | Conforme | Conforme | Échec |
| 02 | B | Conforme | Conforme | Conforme | Réussite |
Ce tableau est un exemple fictif de présentation des résultats.
Dans un véritable test, chaque statut doit être justifié par une observation ou une preuve.
32. Utiliser des tests appariés
Un test apparié consiste à évaluer les variantes sur les mêmes entrées.
Par exemple, les prompts A et B sont tous deux testés sur les documents D1, D2, D3 et D4.
| Document | Prompt A | Prompt B |
|---|---|---|
| D1 | Réussite | Réussite |
| D2 | Échec | Réussite |
| D3 | Réussite | Réussite |
| D4 | Échec | Échec |
Cette méthode facilite l’identification des cas où une variante améliore ou dégrade le résultat.
Elle évite de comparer deux prompts sur des ensembles de documents différents.
33. Étudier les échecs, pas seulement les réussites
Une comparaison utile doit examiner les raisons des échecs.
Par exemple, un prompt peut échouer parce qu’il :
- omet une information ;
- interprète mal une donnée ;
- ne respecte pas un format ;
- invente une valeur ;
- confond deux notions ;
- répond à une question différente.
Ces erreurs ne nécessitent pas toutes la même correction.
Exemple
Si une IA oublie régulièrement une section obligatoire, une consigne structurelle peut être utile.
Si elle fournit un chiffre erroné, ajouter une section ne résoudra pas nécessairement le problème : il faudra plutôt examiner la méthode de calcul ou le dispositif de vérification.
34. Tester la robustesse d’un prompt
La robustesse désigne la capacité d’un prompt à produire des résultats satisfaisants malgré certaines variations des entrées ou des conditions.
On peut notamment examiner :
- les différences de longueur des documents ;
- les formulations inhabituelles ;
- les informations manquantes ;
- les données contradictoires ;
- les formats légèrement différents ;
- les cas peu fréquents.
Un prompt robuste n’est pas nécessairement celui qui réussit parfaitement sur un seul exemple. C’est celui dont le comportement reste suffisamment fiable sur les situations pertinentes pour son usage.
35. Tester les instructions contradictoires dans les données
Un document analysé par une IA peut contenir des phrases qui ressemblent à des instructions.
Par exemple :
Dans cet exemple, la phrase demandant d’ignorer les consignes fait partie du document à analyser.
Elle ne doit pas être considérée comme une nouvelle instruction autorisée de l’utilisateur.
Une grille de test peut vérifier si le modèle traite correctement ce contenu comme une donnée non fiable.
Un prompt bien formulé peut réduire certains risques d’injection d’instructions, mais ne garantit pas une protection absolue. Les applications sensibles nécessitent aussi des contrôles techniques adaptés.
36. Comparer les coûts et les délais
Une variante plus détaillée peut produire des résultats plus complets, mais aussi demander davantage de ressources.
Selon le service utilisé, les coûts peuvent dépendre notamment :
- du nombre de jetons en entrée ;
- du nombre de jetons en sortie ;
- du modèle ;
- des outils appelés ;
- du nombre de tentatives nécessaires.
Le temps de réponse peut également varier.
Exemple fictif
| Indicateur | Prompt A | Prompt B |
|---|---|---|
| Réussites sur 20 | 14 | 18 |
| Durée moyenne | 2 s | 4 s |
| Coût moyen par appel | 0,01 € | 0,03 € |
La variante B obtient davantage de réussites dans cet exemple, mais elle est plus lente et plus coûteuse.
Le choix dépend du niveau de qualité nécessaire et des contraintes d’utilisation.
37. Ne pas optimiser uniquement la longueur du prompt
Un prompt plus long n’est pas automatiquement meilleur.
Il peut apporter :
- des consignes plus précises ;
- des exemples utiles ;
- des règles de sortie ;
- une meilleure gestion des exceptions.
Mais il peut également introduire :
- des répétitions ;
- des contradictions ;
- des instructions secondaires inutiles ;
- une surcharge de contexte.
L’objectif est de conserver les instructions réellement utiles à la tâche.
38. Reconnaître les améliorations trompeuses
Une variante peut sembler meilleure sans apporter de progrès réel.
Quelques situations fréquentes :
| Situation | Risque d’interprétation |
|---|---|
| Réponse plus longue | Confondre longueur et complétude |
| Réponse mieux présentée | Ignorer des erreurs de fond |
| Une réussite spectaculaire | Oublier les autres échecs |
| Un seul cas testé | Généraliser trop rapidement |
| Changement de modèle | Attribuer l’effet au prompt |
| Critères modifiés après coup | Favoriser involontairement une variante |
39. Quand arrêter les essais ?
Tester indéfiniment toutes les formulations possibles n’est ni nécessaire ni toujours rentable.
Il faut définir une règle d’arrêt adaptée au projet.
Par exemple :
- les critères critiques sont satisfaits sur le jeu de validation ;
- les principaux défauts identifiés ont été corrigés ;
- les nouvelles variantes n’apportent plus d’amélioration utile ;
- le coût des essais devient supérieur au bénéfice attendu ;
- une vérification finale sur des données non utilisées pendant le développement est prévue.
Pour les applications à fort enjeu, ces conditions doivent être complétées par des exigences de validation plus strictes.
40. Conserver les variantes rejetées
Une variante qui ne fonctionne pas peut fournir des informations utiles.
Il est donc préférable de conserver :
- le prompt testé ;
- l’hypothèse initiale ;
- les résultats ;
- les défauts constatés ;
- la raison du rejet.
Exemple de journal
Ce suivi évite de reproduire ultérieurement des modifications déjà identifiées comme problématiques.
41. Modèle de protocole de test
Voici un modèle réutilisable pour comparer deux ou plusieurs prompts.
42. Prompt pour préparer plusieurs variantes
Une IA peut aider à formuler des variantes à partir d’un défaut identifié.
Ce prompt sert à préparer les essais. Il ne remplace pas leur réalisation.
43. Prompt pour analyser les résultats
44. Cas pratique complet : améliorer un prompt de compte rendu
Situation professionnelle
Une entreprise souhaite automatiser la rédaction de comptes rendus à partir de notes de réunion.
Le résultat doit présenter :
- les décisions ;
- les actions ;
- les responsables lorsqu’ils sont indiqués ;
- les échéances lorsqu’elles sont indiquées ;
- les informations manquantes sans les inventer.
Version A — Prompt initial
Défaut observé
Certains responsables ne sont pas mentionnés dans les réponses.
Hypothèse
Imposer un tableau structuré et une règle sur les données manquantes pourrait améliorer la complétude.
Version B — Variante
Jeu de tests
Pour l’exercice, on considère cinq documents différents :
| Document | Situation |
|---|---|
| CR-01 | Réunion simple avec responsables et échéances |
| CR-02 | Plusieurs actions avec responsables différents |
| CR-03 | Une action sans responsable |
| CR-04 | Propositions et décisions mélangées |
| CR-05 | Échéances contradictoires |
Grille de contrôle
| Critère | Référence | Contrôle |
|---|---|---|
| Décisions exactes | Notes de réunion | Comparer chaque décision |
| Actions complètes | Notes de réunion | Vérifier toutes les actions |
| Responsables exacts | Notes de réunion | Comparer les attributions |
| Échéances exactes | Notes de réunion | Comparer les dates |
| Aucune invention | Notes de réunion | Identifier les informations sans source |
Résultats fictifs des essais
Pour illustrer l’analyse, supposons que chaque variante soit exécutée une fois sur chacun des cinq documents.
Un essai est considéré comme réussi lorsque tous les critères de la grille sont satisfaits.
| Document | Version A | Version B |
|---|---|---|
| CR-01 | Réussite | Réussite |
| CR-02 | Échec | Réussite |
| CR-03 | Échec | Réussite |
| CR-04 | Réussite | Réussite |
| CR-05 | Échec | Échec |
Calcul des résultats
Version A : 2 réussites sur 5.
2 ÷ 5 × 100 = 40 %.
Version B : 4 réussites sur 5.
4 ÷ 5 × 100 = 80 %.
Différence observée : +40 points de pourcentage.
Interprétation
Dans cet exemple fictif, la version B réussit davantage de cas.
Elle présente toutefois encore un échec sur le document CR-05, qui comporte des échéances contradictoires.
Le résultat suggère que la variante améliore le comportement sur plusieurs situations, mais ne permet pas de conclure à une fiabilité générale.
Nouvelle hypothèse
La gestion des contradictions n’est pas suffisamment précisée.
Une variante C pourrait ajouter :
Cette variante devra ensuite être testée sur des documents comportant différentes formes de contradictions, tout en vérifiant qu’elle ne dégrade pas les résultats sur les cas ordinaires.
Le test ne consiste pas seulement à désigner un gagnant.
Il sert aussi à comprendre les erreurs restantes et à préparer la prochaine amélioration.
45. Exercice 1 — Identifier une hypothèse testable
ApplicationUne IA rédige des fiches pédagogiques.
Sur plusieurs essais, les définitions sont correctes, mais les exemples concrets sont souvent absents.
Un utilisateur propose de remplacer le prompt initial par :
Travail demandé :
- Expliquez pourquoi cette modification est difficile à évaluer.
- Identifiez le problème précis.
- Proposez une hypothèse testable.
- Rédigez une variante adaptée.
- Définissez un critère de contrôle.
Afficher la correction détaillée
1. Problème de la proposition
La nouvelle formulation utilise des expressions subjectives comme « exceptionnel » ou « meilleur professeur ».
Elle ne cible pas directement l’absence d’exemples.
2. Problème identifié
Les fiches ne contiennent pas systématiquement d’exemple concret.
3. Hypothèse
Ajouter une instruction imposant un exemple concret après chaque notion importante pourrait réduire les omissions.
4. Variante proposée
5. Contrôle
Pour chaque fiche :
- identifier les notions importantes ;
- vérifier si chacune possède un exemple ;
- contrôler la pertinence des exemples ;
- comparer les résultats avec le prompt initial.
Il faut également vérifier que la nouvelle instruction ne produit pas des exemples artificiels ou répétitifs.
46. Exercice 2 — Calculer et interpréter des résultats
ApplicationDeux variantes sont testées sur 25 demandes chacune.
Les mêmes demandes et la même grille sont utilisées.
Résultats :
- Variante A : 15 réussites.
- Variante B : 20 réussites.
Travail demandé :
- Calculez le taux de réussite de A.
- Calculez le taux de réussite de B.
- Calculez la différence en points de pourcentage.
- Calculez l’augmentation relative du taux de réussite.
- Formulez une conclusion prudente.
Afficher la correction détaillée
1. Variante A
15 ÷ 25 × 100 = 60 %.
2. Variante B
20 ÷ 25 × 100 = 80 %.
3. Différence en points
80 − 60 = 20 points de pourcentage.
4. Augmentation relative
(80 − 60) ÷ 60 × 100 ≈ 33,33 %.
5. Conclusion
Dans les essais réalisés, la variante B présente un taux de réussite supérieur de 20 points à celui de la variante A.
Cependant, ces 25 essais ne permettent pas, à eux seuls, de garantir que cet avantage se reproduira sur toutes les situations.
Il faut également examiner les types d’échecs, la représentativité des demandes et les critères critiques.
47. Exercice 3 — Repérer les erreurs de protocole
EntraînementUne entreprise compare deux prompts.
Le prompt A est testé sur dix documents simples avec un modèle X.
Le prompt B est testé sur dix documents complexes avec un modèle Y.
Les réponses de A sont évaluées sur la longueur et la présentation.
Les réponses de B sont évaluées sur l’exactitude et la complétude.
L’entreprise conclut que B est meilleur parce que ses réponses paraissent plus professionnelles.
Travail demandé :
- Identifiez au moins quatre erreurs méthodologiques.
- Expliquez pourquoi la conclusion est insuffisante.
- Proposez un protocole corrigé.
Afficher la correction détaillée
Erreurs identifiées
- Les deux variantes n’utilisent pas le même modèle.
- Les documents ne présentent pas le même niveau de difficulté.
- Les critères d’évaluation sont différents.
- La conclusion repose sur une impression de professionnalisme.
- Les conditions de génération ne sont pas précisées.
- Les résultats détaillés ne sont pas documentés.
Pourquoi la conclusion est insuffisante
Les différences observées peuvent provenir du modèle, des documents ou de la méthode d’évaluation.
Il est donc impossible d’attribuer correctement les résultats à la formulation du prompt.
Protocole corrigé
- Choisir un modèle et une version identiques.
- Préparer un jeu commun de documents.
- Définir une grille unique avant les essais.
- Tester les deux variantes sur chaque document.
- Conserver les paramètres comparables.
- Documenter les réponses et les observations.
- Comparer les résultats et leurs limites.
48. Exercice 4 — Construire un jeu de tests
EntraînementVous devez tester un prompt qui extrait les informations suivantes d’un courriel client :
- nom du client ;
- numéro de commande ;
- nature de la demande ;
- niveau d’urgence explicitement indiqué.
Le prompt ne doit pas inventer les informations absentes.
Travail demandé :
- Proposez six cas de test différents.
- Indiquez le comportement attendu pour chaque cas.
- Identifiez les cas les plus utiles pour tester les informations manquantes.
- Expliquez pourquoi un seul courriel ne suffit pas.
Afficher la correction détaillée
| Cas | Situation | Comportement attendu |
|---|---|---|
| 1 | Courriel complet | Extraction exacte des quatre champs |
| 2 | Numéro de commande absent | Indiquer « Non précisé » |
| 3 | Urgence non mentionnée | Ne pas inventer de niveau d’urgence |
| 4 | Deux numéros de commande | Signaler les deux références ou l’ambiguïté |
| 5 | Courriel long avec plusieurs demandes | Identifier correctement les demandes |
| 6 | Courriel contenant une instruction parasite | Traiter l’instruction comme une donnée du courriel |
Cas prioritaires pour les données manquantes
Les cas 2 et 3 permettent de vérifier que le prompt ne complète pas arbitrairement les champs absents.
Pourquoi plusieurs cas ?
Un seul courriel ne permet pas de tester la diversité des formulations, les ambiguïtés ou les informations manquantes.
Un jeu de tests varié fournit une vision plus utile du comportement du prompt.
49. Exercice 5 — Cas pratique de comparaison
SynthèseSituation professionnelle
Une entreprise utilise une IA pour transformer des demandes de support en tickets structurés.
Chaque ticket doit comporter :
- un titre ;
- une description ;
- un équipement concerné ;
- une priorité, uniquement si elle peut être déterminée selon une règle fournie ;
- les informations manquantes.
Deux variantes
Prompt A :
Prompt B :
Résultats fictifs
Les deux variantes sont testées sur les mêmes dix demandes.
| Critère | Prompt A | Prompt B |
|---|---|---|
| Format respecté | 7/10 | 10/10 |
| Équipement exact | 8/10 | 9/10 |
| Priorité non inventée | 6/10 | 10/10 |
| Informations manquantes signalées | 4/10 | 9/10 |
Travail demandé :
- Calculez les taux de conformité de chaque critère.
- Identifiez les améliorations les plus importantes.
- Expliquez pourquoi on ne peut pas déduire un taux global de tickets entièrement conformes.
- Indiquez les limites de l’expérience.
- Proposez les prochains tests à réaliser.
- Formulez une décision argumentée.
Afficher la correction détaillée
1. Taux de conformité
| Critère | A | B | Écart |
|---|---|---|---|
| Format | 70 % | 100 % | +30 points |
| Équipement | 80 % | 90 % | +10 points |
| Priorité | 60 % | 100 % | +40 points |
| Données manquantes | 40 % | 90 % | +50 points |
2. Améliorations principales
La plus forte amélioration concerne le signalement des informations manquantes : +50 points.
La gestion des priorités progresse également de 40 points.
Ces résultats sont cohérents avec les instructions supplémentaires de la variante B, sans suffire à établir à eux seuls une relation causale générale.
3. Pourquoi le taux global est inconnu
Les résultats indiquent combien de tickets respectent chaque critère.
Mais ils ne précisent pas si les mêmes tickets réussissent tous les critères simultanément.
Il est donc impossible de calculer exactement le nombre de tickets entièrement conformes à partir de ce tableau seul.
Il faudrait disposer des résultats détaillés ticket par ticket.
4. Limites
- Seulement dix demandes ont été testées.
- La diversité des situations n’est pas précisée.
- Le nombre de répétitions n’est pas indiqué.
- La qualité du titre et de la description n’est pas mesurée.
- Les règles de priorité doivent être validées.
- Les résultats ne garantissent pas les performances futures.
5. Tests complémentaires
- Tester des demandes très courtes.
- Tester des descriptions ambiguës.
- Tester des équipements non identifiés.
- Tester des urgences explicitement indiquées.
- Tester des demandes contradictoires.
- Répéter les essais sur plusieurs exécutions.
- Mesurer la conformité complète de chaque ticket.
6. Décision
Dans cet exemple, la variante B présente de meilleurs résultats sur tous les critères mesurés.
Elle constitue donc une candidate pertinente pour la suite des essais.
Avant un déploiement professionnel, il faut toutefois confirmer ses performances sur un jeu de tests plus représentatif et vérifier les critères critiques.
50. Questions fréquentes — 20 questions
1. Pourquoi tester plusieurs variantes d’un prompt ?
Pour déterminer si une modification améliore réellement les résultats selon des critères définis.
2. Qu’est-ce qu’une version de référence ?
C’est le prompt initial conservé comme point de comparaison.
3. Pourquoi modifier un seul facteur à la fois ?
Pour faciliter l’identification de l’effet d’une modification précise.
4. Peut-on tester plusieurs modifications ensemble ?
Oui. Cela permet notamment d’étudier leurs interactions, à condition de construire un protocole adapté.
5. Qu’est-ce qu’une hypothèse de test ?
C’est une amélioration attendue que l’on cherche à examiner à partir d’observations.
6. Pourquoi conserver le même modèle ?
Pour éviter que les différences de résultats proviennent d’un changement de modèle plutôt que du prompt.
7. Pourquoi répéter les essais ?
Parce qu’un modèle génératif peut produire des réponses différentes dans des conditions apparemment identiques.
8. Combien de tests faut-il réaliser ?
Le nombre dépend du risque, de la variabilité, des objectifs et de la précision recherchée. Aucun nombre unique ne convient à tous les usages.
9. Qu’est-ce qu’un jeu de tests ?
Un ensemble de situations utilisées pour évaluer le comportement d’un prompt.
10. Pourquoi tester des cas difficiles ?
Pour examiner les limites du prompt et détecter des erreurs absentes des situations simples.
11. Qu’est-ce qu’un test apparié ?
Une comparaison dans laquelle plusieurs variantes sont évaluées sur les mêmes entrées.
12. Peut-on utiliser une IA pour comparer deux réponses ?
Oui, mais cette évaluation doit être encadrée et complétée par des contrôles adaptés lorsque les critères sont vérifiables.
13. Pourquoi masquer l’origine des réponses ?
Pour réduire certains biais liés aux attentes de l’évaluateur.
14. Un prompt plus long est-il meilleur ?
Non. Sa longueur n’est pas une mesure de qualité.
15. Qu’est-ce que le surajustement ?
Une adaptation excessive aux exemples de développement, qui peut dégrader les performances sur de nouveaux cas.
16. Pourquoi séparer les données de développement et de test ?
Pour vérifier les résultats sur des exemples qui n’ont pas servi directement à modifier le prompt.
17. Peut-on comparer les coûts des variantes ?
Oui, si les coûts sont mesurés dans des conditions comparables.
18. Un taux de réussite supérieur garantit-il un meilleur prompt ?
Non. Il faut examiner les critères critiques, les types d’erreurs et les limites du test.
19. Quand arrêter les essais ?
Lorsque les objectifs de validation sont atteints ou que de nouveaux essais n’apportent plus de bénéfice justifiant leur coût, selon les exigences du projet.
20. Quelle est la règle principale à retenir ?
Comparer les variantes dans des conditions cohérentes, sur les mêmes critères, avec des résultats documentés.
51. Glossaire
| Terme | Définition |
|---|---|
| Variante de prompt | Version modifiée d’une instruction. |
| Baseline | Version de référence servant de point de comparaison. |
| Hypothèse | Proposition d’effet attendu soumise à vérification. |
| Variable | Élément susceptible de changer pendant une expérience. |
| Facteur contrôlé | Élément maintenu constant pour faciliter la comparaison. |
| Jeu de tests | Ensemble d’entrées utilisées pour évaluer un système. |
| Test apparié | Comparaison de variantes sur les mêmes cas. |
| Répétition | Nouvelle exécution d’un même test. |
| Variabilité | Différences observées entre plusieurs résultats. |
| Robustesse | Capacité à conserver un comportement satisfaisant dans différentes situations. |
| Surajustement | Adaptation excessive aux exemples utilisés pendant le développement. |
| Critère de validation | Exigence servant à examiner une production. |
| Taux de réussite | Proportion d’essais répondant à une règle de réussite. |
| Point de pourcentage | Unité de différence entre deux pourcentages. |
| Évaluation en aveugle | Évaluation sans connaissance de l’origine des réponses. |
| Randomisation | Répartition aléatoire d’un ordre ou d’une condition. |
| Jeu de validation | Ensemble de cas utilisé pour comparer les variantes pendant le développement. |
| Jeu de test final | Ensemble conservé pour examiner la solution retenue sans l’avoir utilisé pour l’ajuster. |
| Interaction | Effet combiné de plusieurs facteurs. |
| Protocole | Ensemble de règles définissant la réalisation d’une expérience. |
52. Les dix idées essentielles à retenir
- Tester plusieurs variantes permet de vérifier l’effet réel des modifications d’un prompt.
- Chaque expérience doit partir d’un problème précis et d’une hypothèse.
- Une version de référence doit être conservée pour effectuer les comparaisons.
- Modifier un seul facteur à la fois facilite l’interprétation des résultats.
- Les variantes doivent être testées dans des conditions comparables.
- Un jeu de tests doit comprendre des situations variées et représentatives.
- La répétition des essais aide à observer la variabilité des réponses.
- Les mêmes critères de vérification doivent être appliqués aux variantes.
- Une amélioration observée sur quelques exemples ne garantit pas une amélioration générale.
- Les résultats, les erreurs et les décisions doivent être documentés pour améliorer progressivement les prompts.
Améliorer un prompt ne consiste pas à ajouter toujours plus d’instructions.
Il faut suivre une démarche structurée :
Problème → Hypothèse → Variante → Tests → Mesure → Analyse → Décision.
Cette méthode transforme les modifications intuitives en un processus d’amélioration fondé sur des observations.
53. Ressources complémentaires
- OpenAI — Evals : documentation sur l’évaluation des systèmes utilisant des modèles d’IA.
- OpenAI — Prompt engineering : principes de conception et d’amélioration des instructions.
- Google — Prompting strategies : stratégies de formulation et d’expérimentation.
- Anthropic — Documentation : ressources sur les modèles, les instructions et les évaluations.
- NIST — AI Risk Management Framework : principes de gestion des risques associés aux systèmes d’IA.
Les données chiffrées des comparaisons présentées dans ce cours sont des exemples pédagogiques fictifs. Elles ne correspondent pas à des performances mesurées de modèles ou de services commerciaux.
54. Passer à la pratique
Pour consolider vos acquis, entraînez-vous à :
- identifier un défaut précis dans un prompt ;
- formuler une hypothèse d’amélioration ;
- préparer une variante ciblée ;
- construire un jeu de tests ;
- définir une grille commune ;
- comparer les réponses obtenues ;
- calculer les taux de réussite ;
- analyser les échecs ;
- documenter les versions ;
- justifier le choix final.
55. Préparer le cours suivant
Vous savez désormais organiser des essais comparatifs et interpréter leurs résultats avec prudence.
Le prochain cours approfondira une question essentielle : comment mesurer la qualité des réponses d’une intelligence artificielle ?
Vous apprendrez à définir des indicateurs adaptés, à distinguer les différentes dimensions de la qualité et à construire des méthodes d’évaluation plus rigoureuses.
12 cours sur 15 — Vous savez préparer et comparer plusieurs variantes de prompts selon une méthode structurée.
Exercices du cours
Entraînez-vous avec 15 exercices progressifs. Ouvrez un exercice pour répondre, puis afficher sa correction.