Demander une autoévaluation et en comprendre les limites
Vous demandez à une intelligence artificielle de rédiger un courrier, de résoudre un calcul, de produire un article ou de proposer une procédure informatique. La réponse paraît satisfaisante, mais comment savoir si elle respecte réellement vos consignes ?
Une méthode consiste à demander à l’IA de relire, critiquer et éventuellement améliorer sa propre réponse.
Cette technique est appelée autoévaluation ou, selon le contexte, autocritique.
Elle peut permettre de repérer des oublis, des incohérences ou des problèmes de présentation. Cependant, elle présente une limite fondamentale : une IA peut confirmer une erreur qu’elle a elle-même produite.
L’autoévaluation est une étape de contrôle supplémentaire. Elle ne constitue pas une preuve que la réponse est correcte.
1. Objectifs pédagogiques
À la fin de ce cours, vous serez capable de :
- Définir l’autoévaluation d’une réponse générée par une IA.
- Expliquer les situations dans lesquelles elle est utile.
- Construire un prompt de relecture précis.
- Différencier une vérification de forme d’une vérification de fond.
- Faire contrôler le respect d’une consigne.
- Utiliser une grille d’évaluation simple.
- Faire identifier les erreurs et les informations manquantes.
- Demander une correction ciblée plutôt qu’une réécriture inutile.
- Comprendre les limites de l’autocritique des modèles.
- Choisir une méthode de vérification adaptée à l’importance du résultat.
2. Qu’est-ce que l’autoévaluation d’une IA ?
L’autoévaluation consiste à demander à un modèle d’examiner une réponse qu’il vient de produire, en appliquant des critères définis.
Par exemple :
Le modèle effectue alors une nouvelle analyse à partir du texte disponible dans la conversation.
Il ne faut pas confondre cette opération avec une vérification indépendante.
Le terme « autoévaluation » ne signifie pas que l’IA possède une conscience d’elle-même ou qu’elle connaît avec certitude ses propres erreurs.
Il désigne ici une tâche de relecture et d’évaluation réalisée par le modèle sur une production précédente.
3. Pourquoi demander une autoévaluation ?
Une première réponse peut contenir des défauts qui ne sont pas immédiatement visibles.
Par exemple :
- une consigne oubliée ;
- une partie du sujet non traitée ;
- une répétition inutile ;
- une contradiction entre deux paragraphes ;
- un calcul incorrect ;
- un tableau incomplet ;
- un ton inadapté ;
- une affirmation présentée sans justification.
Demander une relecture structurée peut conduire le modèle à examiner la réponse sous un autre angle.
Exemple : un courrier professionnel
Vous avez demandé un courrier contenant :
- Un rappel de la situation.
- Une demande de justificatif.
- Un délai de réponse.
- Une formule de politesse.
Le courrier généré ne comporte aucun délai.
Une autoévaluation fondée sur ces quatre critères peut permettre de détecter cet oubli.
4. Comprendre les trois opérations possibles
Une demande d’autoévaluation peut contenir trois opérations distinctes.
| Opération | Objectif | Exemple |
|---|---|---|
| Relire | Examiner la réponse | Repérer les répétitions |
| Évaluer | Comparer la réponse à des critères | Vérifier le respect des consignes |
| Corriger | Modifier les éléments problématiques | Ajouter une information oubliée |
Ces opérations peuvent être réunies dans un seul prompt, mais il est souvent préférable de demander d’abord un diagnostic clair.
5. Pourquoi « Vérifie ta réponse » est insuffisant
Une instruction générale peut produire une relecture superficielle.
Prompt vague
Le modèle ne sait pas quels critères sont prioritaires.
Prompt structuré
La relecture repose sur des critères observables.
6. Commencer par vérifier le respect des consignes
Le contrôle le plus simple consiste à comparer la réponse avec la demande initiale.
Cette vérification est particulièrement utile lorsque le prompt contient plusieurs contraintes.
Situation
Une entreprise demande une description commerciale avec les exigences suivantes :
- 150 mots maximum ;
- un titre ;
- trois avantages ;
- aucune promesse de résultat garanti ;
- un ton professionnel.
La conformité à une limite de mots ou à la présence d’un titre est relativement facile à vérifier.
En revanche, le caractère professionnel d’un ton reste partiellement subjectif.
7. Vérifier la structure d’un document
L’IA peut examiner la présence et l’ordre des sections d’un document.
Cette méthode fonctionne bien pour des cours, rapports, procédures et présentations.
8. Vérifier la cohérence interne
Une réponse est cohérente lorsque ses différentes parties ne se contredisent pas.
Exemple de contradiction
Un rapport indique :
« Le projet nécessite quatre semaines de développement. »
Plus loin :
« Le développement sera entièrement terminé en dix jours. »
Sans explication supplémentaire, les deux affirmations sont contradictoires.
9. Vérifier les calculs
Les calculs constituent un cas particulier : leur exactitude peut souvent être vérifiée objectivement.
Exemple
Une réponse indique :
« Le chiffre d’affaires passe de 80 000 € à 92 000 €, soit une augmentation de 10 %. »
Vérifions :
Variation = 92 000 − 80 000 = 12 000 €.
Taux de variation = (12 000 ÷ 80 000) × 100.
Résultat correct : +15 %.
La réponse initiale contient donc une erreur.
Un modèle de langage peut également se tromper lors du recalcul. Pour des calculs importants, privilégiez une calculatrice, un tableur ou un outil de calcul adapté.
10. Vérifier les informations factuelles
Une affirmation factuelle porte sur un élément qui peut, en principe, être confronté à une source extérieure.
Exemples :
- une date d’entrée en vigueur ;
- une disposition légale ;
- une caractéristique technique ;
- un prix ;
- une statistique ;
- une citation attribuée à une personne.
Demander à l’IA de vérifier ces informations peut être utile pour établir une liste de points sensibles.
Mais si elle ne dispose pas de sources fiables, elle ne peut pas garantir leur exactitude.
11. Comprendre la différence entre cohérence et exactitude
Une réponse peut être parfaitement cohérente tout en étant fausse.
Exemple
Un texte explique avec beaucoup de logique une règle juridique qui n’existe pas.
Les paragraphes sont bien organisés, les exemples semblent pertinents et la conclusion est cohérente.
Pourtant, la règle de départ est inventée.
| Contrôle | Question posée |
|---|---|
| Cohérence | Les éléments du texte sont-ils compatibles entre eux ? |
| Exactitude | Les affirmations correspondent-elles à la réalité ? |
Une réponse cohérente n’est pas nécessairement exacte.
L’autoévaluation peut améliorer la cohérence sans établir la vérité des informations.
12. Comprendre le risque de confirmation de ses propres erreurs
Lorsqu’une IA relit sa réponse, elle peut reproduire les mêmes erreurs d’interprétation ou de raisonnement.
Ce phénomène peut se produire parce que l’évaluation et la production reposent sur des capacités et des connaissances similaires.
Exemple
Une IA affirme qu’une fonction informatique existe dans une version donnée d’un logiciel.
Cette affirmation est incorrecte.
Vous lui demandez :
Le modèle répond :
« Oui, cette fonction est disponible. »
Cette confirmation ne constitue aucune preuve supplémentaire.
Demander plusieurs fois à une IA si elle est sûre de sa réponse ne transforme pas une affirmation incertaine en information vérifiée.
13. Pourquoi une IA peut-elle mal évaluer sa propre réponse ?
Plusieurs difficultés peuvent limiter l’autoévaluation.
1. Les connaissances peuvent être insuffisantes
Si le modèle ignore une information, il peut également ignorer que sa réponse est incorrecte.
2. Le contexte peut être incomplet
Le modèle ne dispose pas nécessairement des documents, contraintes ou informations nécessaires.
3. L’évaluation peut être subjective
Les notions de qualité, d’originalité ou de clarté ne reposent pas toujours sur des mesures précises.
4. Le modèle peut conserver une mauvaise hypothèse
Une erreur initiale peut influencer la relecture.
5. La relecture peut introduire de nouvelles erreurs
Une réécriture complète peut modifier un passage qui était correct.
Ces limites expliquent pourquoi il faut distinguer l’amélioration possible d’un texte et la vérification réelle de son exactitude.
14. Demander une critique plutôt qu’une approbation
La formulation du prompt influence le type de relecture obtenu.
Prompt peu utile
La question invite à une appréciation globale, sans méthode.
Prompt plus utile
Ce second prompt oriente la tâche vers la recherche d’anomalies observables.
15. Utiliser une grille d’autoévaluation
Une grille d’évaluation est un ensemble de critères appliqués systématiquement à une production.
Elle permet de rendre l’analyse plus structurée.
| Critère | Question | Évaluation possible |
|---|---|---|
| Complétude | Tous les éléments demandés sont-ils présents ? | Oui / Partiellement / Non |
| Clarté | Le texte est-il compréhensible par le public visé ? | Satisfaisant / À améliorer |
| Cohérence | Existe-t-il des contradictions ? | Aucune repérée / Contradictions repérées |
| Justification | Les affirmations importantes sont-elles étayées ? | Oui / Partiellement / Non |
| Format | La présentation respecte-t-elle les consignes ? | Oui / Non |
Une grille ne garantit pas que l’évaluation sera correcte, mais elle permet de mieux comprendre sur quoi elle repose.
16. Faut-il attribuer une note à sa propre réponse ?
Vous pouvez demander une note sur 5, sur 10 ou sur 100.
Mais une note isolée apporte peu d’informations.
Évaluation peu exploitable
« Ma réponse mérite 9,5/10. »
Aucune justification ne permet de contrôler la note.
Évaluation exploitable
« Quatre des cinq consignes sont respectées. La réponse ne contient pas l’exemple demandé. »
L’observation est précise et permet une correction.
Lorsque les critères sont qualitatifs, une note peut donner une impression excessive de précision.
17. Faire repérer les informations manquantes
Une réponse peut être incomplète parce que la demande initiale ne contient pas toutes les informations nécessaires.
Exemple : devis
Vous demandez à l’IA de calculer le montant TTC d’une prestation.
Le prix HT est indiqué, mais aucun taux de TVA applicable n’est fourni ou établi.
L’IA ne devrait pas choisir arbitrairement un taux.
18. Faire vérifier une procédure informatique
Une procédure technique doit être suffisamment claire pour être suivie sans ambiguïté.
La relecture peut porter sur :
- l’ordre des opérations ;
- les prérequis ;
- les avertissements ;
- les risques ;
- les étapes manquantes ;
- les conditions d’arrêt ;
- les contrôles après intervention.
Une relecture par IA ne remplace pas un test en environnement adapté, une documentation officielle ou la validation d’un professionnel compétent.
19. Faire vérifier un article pédagogique
Dans un contenu destiné à des débutants, la qualité dépend aussi de la progression des explications.
La dernière consigne est importante : une relecture ne doit pas nécessairement produire des critiques lorsque le critère est correctement respecté.
20. Faire vérifier un texte commercial
Un texte commercial peut être fluide tout en contenant des affirmations excessives.
Exemple
« Notre solution garantit une augmentation de 50 % de votre chiffre d’affaires. »
Si aucune donnée ne justifie cette promesse, elle doit être signalée.
21. Faire vérifier une réponse juridique ou administrative
Les domaines juridiques et administratifs nécessitent une attention particulière.
Une réponse peut sembler très convaincante tout en reposant sur un texte périmé ou mal interprété.
Pour une démarche importante, vérifiez les informations auprès des sources officielles applicables et, si nécessaire, d’un professionnel qualifié.
22. Demander une correction ciblée
Après l’autoévaluation, il peut être tentant de demander une réécriture complète.
Cette approche n’est pas toujours souhaitable.
Une réécriture intégrale peut :
- supprimer des informations utiles ;
- introduire de nouvelles erreurs ;
- modifier le ton initial ;
- faire disparaître des éléments validés ;
- créer de nouvelles incohérences.
23. Comparer la version initiale et la version corrigée
Une correction doit idéalement être contrôlée à son tour.
Cette méthode permet de repérer une régression : un défaut nouveau introduit pendant la correction.
24. Comprendre la notion de régression
Une régression apparaît lorsqu’une modification dégrade un élément auparavant correct.
Exemple
Version initiale :
Un courrier contient toutes les informations nécessaires, mais comporte une phrase trop longue.
Après correction :
La phrase est raccourcie, mais la date limite de réponse a disparu.
La nouvelle version est plus lisible, mais moins complète.
Après une correction, vérifiez à la fois le défaut ciblé et les exigences qui étaient déjà satisfaites.
25. L’autoévaluation améliore-t-elle toujours une réponse ?
Non.
Une autoévaluation peut améliorer une réponse, ne rien changer ou parfois la dégrader.
Son utilité dépend notamment :
- de la nature de la tâche ;
- de la précision des critères ;
- des informations disponibles ;
- des capacités du modèle ;
- de la possibilité de vérifier objectivement le résultat.
Il est donc préférable de juger la méthode à partir des corrections réellement apportées plutôt que de supposer qu’une deuxième réponse est automatiquement meilleure.
26. Pourquoi répéter plusieurs fois la relecture ne suffit pas
Demander cinq fois « Revérifie » ne garantit pas une meilleure fiabilité.
Les réponses successives peuvent :
- répéter la même erreur ;
- produire des critiques contradictoires ;
- modifier inutilement des passages corrects ;
- donner une impression trompeuse de validation.
Répétition peu productive
Contrôle ciblé
27. Comprendre l’intérêt d’une vérification indépendante
Une vérification indépendante repose sur une méthode, une source ou un outil distinct de la production initiale.
Exemples :
- vérifier un calcul avec un tableur ;
- contrôler une information juridique sur un site officiel ;
- tester un programme dans un environnement adapté ;
- comparer une caractéristique à une fiche technique du fabricant ;
- faire relire un document important par une personne compétente.
Un second modèle d’IA peut apporter un autre point de vue, mais ne constitue pas automatiquement une vérification indépendante fiable : il peut partager des erreurs ou des biais similaires.
Autoévaluation : le modèle examine une production.
Vérification indépendante : la production est confrontée à une référence ou à une méthode de contrôle distincte.
28. Utiliser des références vérifiables
Lorsque vous disposez d’un document de référence, vous pouvez demander à l’IA de comparer sa réponse à ce document.
Cette méthode améliore la traçabilité, à condition que le document de référence soit lui-même fiable et pertinent.
29. Éviter les fausses références
Une IA peut parfois produire des références qui semblent crédibles, mais qui sont inexactes, mal attribuées ou inexistantes.
Demander simplement « Ajoute des sources » ne garantit pas leur authenticité.
La présence d’un lien ou d’une référence ne prouve pas à elle seule que le contenu cité confirme l’affirmation. Il faut examiner la source.
30. Distinguer incertitude et erreur
Une erreur est une affirmation incorrecte.
Une incertitude correspond à une situation dans laquelle les informations disponibles ne permettent pas de conclure avec suffisamment de confiance.
Erreur
Affirmer que 25 × 4 = 120.
Le résultat correct est 100.
Incertitude
Affirmer qu’un fournisseur livrera lundi alors que seul un délai estimatif est connu.
La date de livraison n’est pas confirmée.
31. Demander une estimation de confiance : quelles limites ?
Vous pouvez demander au modèle s’il est très confiant, moyennement confiant ou peu confiant.
Cependant, une déclaration de confiance ne correspond pas nécessairement à une probabilité statistiquement fiable.
Une IA peut affirmer :
« Je suis sûr à 95 % que cette réponse est correcte. »
Sans méthode de calibration connue, ce pourcentage ne doit pas être interprété comme une mesure vérifiée de fiabilité.
32. Construire une autoévaluation par étapes
Pour une production complexe, il peut être utile de séparer les contrôles.
Cette progression limite le risque de mélanger diagnostic, justification et réécriture.
33. Quand faut-il arrêter l’autoévaluation ?
Une relecture ne doit pas devenir un processus sans fin.
Il est raisonnable de s’arrêter lorsque :
- les critères définis ont été examinés ;
- les anomalies identifiées ont été traitées ;
- les points non vérifiables sont signalés ;
- les contrôles externes nécessaires ont été déterminés ;
- une nouvelle relecture n’apporte plus de correction justifiée.
Pour une tâche simple, une seule relecture ciblée peut suffire.
Pour une tâche importante, la suite logique n’est pas forcément une nouvelle autoévaluation, mais une vérification extérieure.
34. Adapter le contrôle au niveau de risque
Toutes les réponses ne nécessitent pas le même niveau de vérification.
| Situation | Contrôle conseillé |
|---|---|
| Idées de titres pour un article | Relecture du style et de la pertinence |
| Courrier professionnel courant | Conformité, ton, informations et destinataire |
| Calcul de rentabilité | Vérification des formules et des résultats avec un outil adapté |
| Procédure informatique | Documentation, analyse des risques et test contrôlé |
| Décision juridique, médicale ou financière importante | Sources fiables et validation par un professionnel compétent lorsque nécessaire |
Le niveau de contrôle doit augmenter avec les conséquences possibles d’une erreur.
35. Modèle de prompt d’autoévaluation réutilisable
Voici un modèle général pouvant être adapté à différents contenus.
36. Exemple complet : autoévaluer une analyse commerciale
Demande initiale
« Analyse l’évolution du chiffre d’affaires de deux activités. Présente les variations en euros et en pourcentage, puis formule une conclusion. »
Données
| Activité | 2025 | 2026 |
|---|---|---|
| Services | 60 000 € | 66 000 € |
| Ventes | 40 000 € | 38 000 € |
Réponse initiale fictive de l’IA
« L’activité Services augmente de 6 000 €, soit 8 %. L’activité Ventes diminue de 2 000 €, soit 5 %. Le chiffre d’affaires total progresse de 4 000 €. Les deux activités sont en croissance. »
Étape 1 — Vérifier les calculs
Services :
66 000 − 60 000 = +6 000 €.
(6 000 ÷ 60 000) × 100 = +10 %.
Le taux de 8 % annoncé est incorrect.
Ventes :
38 000 − 40 000 = −2 000 €.
(−2 000 ÷ 40 000) × 100 = −5 %.
Ce calcul est correct.
Étape 2 — Vérifier le total
Total 2025 : 60 000 + 40 000 = 100 000 €.
Total 2026 : 66 000 + 38 000 = 104 000 €.
Variation : +4 000 €, soit +4 %.
La variation en euros est correcte, mais le taux global n’était pas indiqué.
Étape 3 — Vérifier la conclusion
La phrase « Les deux activités sont en croissance » est incorrecte.
Seule l’activité Services progresse. L’activité Ventes recule.
Étape 4 — Produire un diagnostic
| Élément | Constat | Correction |
|---|---|---|
| Variation Services | Montant correct, taux incorrect | +6 000 € ; +10 % |
| Variation Ventes | Correcte | −2 000 € ; −5 % |
| Variation totale | Montant correct, taux absent | +4 000 € ; +4 % |
| Conclusion | Contradiction avec les chiffres | Une activité progresse, l’autre recule |
Étape 5 — Version corrigée
Le chiffre d’affaires de l’activité Services passe de 60 000 € à 66 000 €, soit une augmentation de 6 000 € (+10 %).
Celui de l’activité Ventes diminue de 40 000 € à 38 000 €, soit une baisse de 2 000 € (−5 %).
Au total, le chiffre d’affaires progresse de 100 000 € à 104 000 €, soit une augmentation de 4 000 € (+4 %).
La croissance de l’activité Services compense la baisse de l’activité Ventes. Il serait utile d’analyser les raisons de ce recul afin de déterminer les actions adaptées.
Cet exemple montre comment une autoévaluation ciblée peut améliorer une réponse. Il ne démontre pas que l’IA détectera toujours ce type d’erreur.
37. Exercice 1 — Vérifier le respect d’une consigne
ApplicationUn utilisateur demande :
L’IA produit :
« Bonjour, nous avons bien reçu votre demande. Elle sera examinée par notre équipe et vous recevrez une réponse sous 24 heures. Cordialement. »
Travail demandé :
- Identifiez les consignes respectées.
- Repérez la consigne non respectée.
- Proposez un prompt de relecture.
- Rédigez une version corrigée.
Afficher la correction détaillée
Consignes respectées
- La réception est confirmée.
- L’examen de la demande est annoncé.
- Une formule de politesse est présente.
Consigne non respectée
Le texte promet une réponse sous 24 heures alors que la demande interdit de promettre un délai.
Prompt de relecture
Version corrigée
« Bonjour, nous vous confirmons la bonne réception de votre demande. Celle-ci sera examinée par notre équipe. Nous reviendrons vers vous dès que possible. Cordialement. »
Le délai de 24 heures a été supprimé sans modifier le sens principal du message.
38. Exercice 2 — Repérer une erreur de calcul
ApplicationUne entreprise passe de 150 000 € de chiffre d’affaires à 165 000 €.
L’IA affirme :
« Le chiffre d’affaires augmente de 15 000 €, soit 15 %. »
Travail demandé :
- Vérifiez la variation en euros.
- Recalculez le taux de variation.
- Identifiez l’erreur.
- Rédigez un prompt de contrôle adapté.
Afficher la correction détaillée
Variation en euros
165 000 − 150 000 = 15 000 €.
Taux de variation
(15 000 ÷ 150 000) × 100 = 10 %.
La variation en euros est correcte, mais le pourcentage annoncé est incorrect.
Prompt de contrôle
Réponse corrigée
Le chiffre d’affaires augmente de 15 000 €, soit 10 %.
39. Exercice 3 — Distinguer cohérence et exactitude
EntraînementUne IA rédige un texte expliquant qu’une entreprise est légalement tenue de remplacer tous ses ordinateurs tous les trois ans.
Le texte est clair, structuré et ne contient aucune contradiction.
Aucune source juridique n’est fournie.
Travail demandé :
- Le texte est-il nécessairement exact ?
- Une autoévaluation de cohérence suffit-elle ?
- Quelles vérifications faut-il effectuer ?
- Proposez un prompt adapté.
Afficher la correction détaillée
1. Exactitude
Non. Un texte cohérent peut reposer sur une affirmation juridiquement incorrecte.
2. Autoévaluation
Elle ne suffit pas à établir l’existence de l’obligation mentionnée.
3. Vérifications nécessaires
- Identifier le pays et le contexte juridique concernés.
- Rechercher le texte officiel applicable.
- Vérifier l’existence de l’obligation.
- Examiner son champ d’application et ses éventuelles exceptions.
4. Prompt proposé
La correction attendue consiste à suspendre l’affirmation non étayée jusqu’à vérification, et non à inventer une nouvelle règle.
40. Exercice 4 — Corriger sans introduire de régression
EntraînementUn utilisateur demande une procédure comportant :
- une sauvegarde préalable ;
- une vérification des droits d’accès ;
- une modification de configuration ;
- un contrôle final.
La première réponse contient les quatre étapes, mais la troisième est mal expliquée.
Après réécriture, la troisième étape devient claire, mais la sauvegarde préalable disparaît.
Travail demandé :
- Définissez le problème introduit.
- Expliquez pourquoi il est important.
- Rédigez un prompt de correction ciblée.
- Proposez un contrôle final.
Afficher la correction détaillée
Problème
La nouvelle version introduit une régression : une étape nécessaire, présente auparavant, a été supprimée.
Importance
La sauvegarde préalable peut être essentielle pour permettre un retour à l’état initial en cas de problème.
Prompt de correction
Contrôle final
Comparer la nouvelle procédure au plan initial et vérifier la présence de chaque étape.
Pour une opération technique réelle, la procédure doit également être validée selon le système concerné.
41. Exercice 5 — Cas pratique : auditer une réponse d’IA
SynthèseSituation professionnelle
Une entreprise demande à une IA d’analyser les résultats de deux services.
Données fournies
| Service | Budget prévu | Dépense réelle |
|---|---|---|
| Informatique | 20 000 € | 23 000 € |
| Communication | 15 000 € | 12 000 € |
Demande initiale
Calculer les écarts en euros et en pourcentage par rapport au budget prévu, puis formuler une conclusion neutre sans supposer les causes des écarts.
Réponse fictive produite par l’IA
« Le service Informatique dépasse son budget de 3 000 €, soit 10 %. Le service Communication réalise une économie de 3 000 €, soit 25 %. Le budget global est dépassé de 6 000 €. Ces résultats montrent que l’équipe informatique gère mal ses dépenses, tandis que la communication est particulièrement performante. »
Travail demandé :
- Vérifiez les écarts en euros.
- Recalculez les pourcentages.
- Vérifiez l’écart global.
- Identifiez les conclusions injustifiées.
- Construisez un prompt d’autoévaluation.
- Rédigez une analyse corrigée.
Afficher la correction détaillée
1. Écart du service Informatique
23 000 − 20 000 = +3 000 €.
Taux = (3 000 ÷ 20 000) × 100.
Résultat : +15 %.
Le montant est correct, mais le taux annoncé de 10 % est incorrect.
2. Écart du service Communication
12 000 − 15 000 = −3 000 €.
Taux = (−3 000 ÷ 15 000) × 100.
Résultat : −20 %.
Le taux de 25 % annoncé est incorrect.
3. Écart global
Budget total prévu :
20 000 + 15 000 = 35 000 €.
Dépense totale réelle :
23 000 + 12 000 = 35 000 €.
Écart global :
35 000 − 35 000 = 0 €.
Le budget global n’est donc pas dépassé.
4. Conclusions injustifiées
Le dépassement du budget Informatique ne démontre pas une mauvaise gestion.
De même, une dépense inférieure au budget Communication ne démontre pas une meilleure performance.
Les écarts peuvent résulter de nombreux facteurs non documentés : modification des besoins, report de dépenses, évolution du périmètre ou économies réelles.
Il est impossible de déterminer leur cause à partir des seules données fournies.
5. Prompt d’autoévaluation
6. Tableau corrigé
| Service | Prévu | Réel | Écart € | Écart % |
|---|---|---|---|---|
| Informatique | 20 000 € | 23 000 € | +3 000 € | +15 % |
| Communication | 15 000 € | 12 000 € | −3 000 € | −20 % |
| Total | 35 000 € | 35 000 € | 0 € | 0 % |
7. Analyse corrigée
Le service Informatique présente un dépassement budgétaire de 3 000 €, soit 15 % du budget initial.
Le service Communication enregistre une dépense inférieure de 3 000 € à son budget, soit un écart de −20 %.
Au niveau global, les dépenses correspondent exactement au budget prévu de 35 000 €.
Ces résultats montrent une répartition différente des dépenses entre les deux services. Les informations disponibles ne permettent pas de déterminer les causes de ces écarts ni d’évaluer, à elles seules, la qualité de la gestion des services concernés.
8. Ce que démontre le cas pratique
Une autoévaluation pertinente doit contrôler les calculs, mais aussi les interprétations.
Un résultat numérique correct ne suffit pas à justifier une conclusion sur les causes ou la performance.
42. Questions fréquentes — 20 questions
1. Qu’est-ce que l’autoévaluation d’une IA ?
C’est le fait de demander à un modèle de relire et d’évaluer une réponse selon des critères définis.
2. Pourquoi demander une autoévaluation ?
Pour repérer des oublis, contradictions, défauts de présentation ou erreurs susceptibles d’être détectés lors d’une nouvelle analyse.
3. L’autoévaluation garantit-elle une réponse correcte ?
Non. Le modèle peut conserver ses erreurs ou en introduire de nouvelles.
4. Peut-on demander simplement « Vérifie ta réponse » ?
Oui, mais une liste de critères précis permet généralement un contrôle plus ciblé et exploitable.
5. Qu’est-ce qu’une grille d’évaluation ?
Un ensemble de critères utilisés pour examiner systématiquement une production.
6. Quelle différence entre relecture et vérification factuelle ?
La relecture examine le texte. La vérification factuelle confronte les affirmations à des données ou sources fiables.
7. Une réponse cohérente est-elle nécessairement exacte ?
Non. Une explication logique peut reposer sur une information de départ incorrecte.
8. Une IA peut-elle détecter ses propres erreurs de calcul ?
Parfois, mais elle peut également se tromper pendant le contrôle. Les calculs importants doivent être vérifiés avec un outil adapté.
9. Pourquoi demander une justification des critiques ?
Pour comprendre sur quels passages et critères repose chaque observation.
10. Faut-il toujours attribuer une note à la réponse ?
Non. Des constats précis sont souvent plus utiles qu’une note globale.
11. Une note de confiance de 95 % est-elle fiable ?
Pas nécessairement. Sans méthode de calibration connue, ce chiffre peut être arbitraire.
12. Pourquoi éviter une réécriture complète systématique ?
Parce qu’elle peut supprimer des informations correctes ou introduire de nouveaux défauts.
13. Qu’est-ce qu’une correction ciblée ?
Une modification limitée aux éléments réellement problématiques.
14. Qu’est-ce qu’une régression ?
Un nouveau défaut introduit lors d’une modification d’un contenu auparavant correct sur ce point.
15. Peut-on faire relire un document juridique par une IA ?
Oui, pour repérer certains points à vérifier. Cela ne remplace pas les sources officielles ni un conseil juridique adapté.
16. Un deuxième modèle constitue-t-il une vérification indépendante ?
Il peut fournir une analyse complémentaire, mais il n’est pas automatiquement indépendant ni fiable. Les modèles peuvent partager des erreurs.
17. Pourquoi utiliser un document de référence ?
Pour confronter les affirmations à une source identifiable plutôt qu’aux seules connaissances du modèle.
18. Une autoévaluation peut-elle dégrader une réponse ?
Oui. Une correction peut introduire des erreurs ou supprimer des informations importantes.
19. Combien de relectures faut-il demander ?
Il n’existe pas de nombre universel. Il vaut mieux effectuer des contrôles ciblés puis passer à une vérification extérieure lorsque nécessaire.
20. Quelle est la règle la plus importante ?
Considérer l’autoévaluation comme une aide à la détection des problèmes, jamais comme une garantie d’exactitude.
43. Glossaire
| Terme | Définition |
|---|---|
| Autoévaluation | Évaluation d’une production par le modèle qui l’a générée ou dans le même processus de génération. |
| Autocritique | Recherche des défauts de sa propre production. |
| Relecture | Examen d’un texte pour repérer les problèmes. |
| Critère | Élément utilisé pour évaluer une production. |
| Grille d’évaluation | Ensemble structuré de critères de contrôle. |
| Conformité | Respect des consignes et exigences définies. |
| Complétude | Présence de tous les éléments attendus. |
| Cohérence | Compatibilité logique entre les différentes parties. |
| Exactitude | Correspondance d’une information avec la réalité ou une référence correcte. |
| Contradiction | Incompatibilité entre deux affirmations. |
| Incertitude | Absence d’informations suffisantes pour conclure avec assurance. |
| Erreur factuelle | Affirmation incorrecte concernant un fait. |
| Correction ciblée | Modification limitée à un défaut identifié. |
| Régression | Dégradation introduite par une correction ou une modification. |
| Vérification indépendante | Contrôle réalisé à l’aide d’une méthode, d’une source ou d’un outil distinct. |
| Traçabilité | Possibilité de retrouver les éléments justifiant une information. |
| Source primaire | Document ou donnée provenant directement de l’organisme ou du phénomène concerné. |
| Calibration | Correspondance entre les niveaux de confiance annoncés et la fréquence réelle de réussite. |
| Biais | Facteur pouvant orienter une évaluation de manière injustifiée. |
| Validation humaine | Examen et décision réalisés par une personne responsable du résultat. |
44. Les dix idées essentielles à retenir
- L’autoévaluation consiste à demander à une IA d’examiner une réponse qu’elle a produite.
- Elle peut aider à repérer des oublis, contradictions et défauts de présentation.
- Une relecture structurée est plus exploitable qu’une simple demande de vérification.
- Les critères doivent être précis et liés à la demande initiale.
- La cohérence d’une réponse ne garantit pas son exactitude.
- Une IA peut reproduire ou confirmer ses propres erreurs.
- Les notes de qualité et les pourcentages de confiance ne sont pas automatiquement fiables.
- Les corrections ciblées limitent le risque de modifier inutilement des éléments corrects.
- Les résultats importants doivent être confrontés à des sources ou outils de vérification adaptés.
- L’autoévaluation complète le contrôle humain, mais ne le remplace pas.
Une bonne autoévaluation ne consiste pas à demander à l’IA de confirmer qu’elle a raison.
Elle consiste à lui demander de chercher des défauts précis, de justifier ses observations et de reconnaître ce qu’elle ne peut pas vérifier.
45. Ressources complémentaires
- OpenAI — Prompt engineering : bonnes pratiques pour structurer les consignes et les évaluations.
- OpenAI — Évaluation des systèmes d’IA : méthodes de test et d’évaluation.
- NIST — AI Risk Management Framework : gestion des risques et fiabilité des systèmes d’IA.
- CNIL — Intelligence artificielle : précautions liées à l’utilisation de l’IA et à la protection des données.
Les exemples et les réponses fictives de ce cours sont construits à des fins pédagogiques. Ils illustrent des méthodes de relecture et de contrôle, sans garantir qu’un modèle détectera systématiquement les erreurs présentées.
46. Passer à la pratique
Pour consolider vos acquis, entraînez-vous à :
- faire contrôler le respect d’une consigne ;
- repérer une contradiction dans un texte ;
- demander une vérification de calcul ;
- identifier les affirmations nécessitant une source ;
- construire une grille de relecture ;
- demander une correction ciblée ;
- comparer deux versions d’un document ;
- déterminer les points nécessitant une vérification indépendante.
47. Préparer le cours suivant
Vous savez maintenant demander à une IA d’examiner sa propre réponse et, surtout, comprendre pourquoi cette démarche ne suffit pas à garantir sa fiabilité.
Le prochain cours approfondira une méthode complémentaire : concevoir des grilles de vérification indépendantes.
Vous apprendrez à construire des contrôles fondés sur des critères explicites, des références et des résultats observables, sans dépendre uniquement de l’appréciation du modèle.
10 cours sur 15 — Vous savez utiliser l’autoévaluation avec méthode et reconnaître ses limites.
Exercices du cours
Entraînez-vous avec 15 exercices progressifs. Ouvrez un exercice pour répondre, puis afficher sa correction.