Concevoir des grilles de vérification indépendantes

1. Objectifs pédagogiques

À la fin de ce cours, vous serez capable de :

• Définir une grille de vérification indépendante.
• La distinguer d’une simple autoévaluation.
• Transformer des consignes en critères observables.
• Définir une méthode de contrôle pour chaque critère.
• Choisir des références fiables.
• Utiliser des statuts de validation adaptés.
• Construire des grilles pour des textes, calculs et procédures.
• Différencier critères bloquants et critères secondaires.
• Identifier les contrôles pouvant être automatisés.
• Interpréter correctement les résultats d’une vérification.

2. Qu’est-ce qu’une grille de vérification indépendante ?

Une grille de vérification est un tableau ou une liste structurée de contrôles permettant d’évaluer une production selon des critères définis.

Elle est dite indépendante lorsque les critères et les références ne dépendent pas uniquement de l’appréciation du modèle qui a produit la réponse.

Par exemple, une réponse contenant un calcul peut être contrôlée à partir :

• des données de départ ;
• d’une formule de référence ;
• d’un résultat recalculé avec un outil adapté ;
• d’une règle de comparaison explicite.

La grille ne repose donc pas seulement sur l’affirmation de l’IA selon laquelle son résultat serait correct.

3. Pourquoi l’indépendance du contrôle est-elle importante ?

Imaginons qu’une IA calcule un taux de variation incorrect.

Vous lui demandez ensuite de vérifier son résultat.

Elle peut recalculer correctement, mais elle peut aussi répéter la même erreur.

Une grille indépendante permet d’imposer une méthode de contrôle connue :

Le contrôle repose sur une règle définie et un résultat vérifiable, et non sur une appréciation générale.

4. Différencier autoévaluation et vérification indépendante

Les deux approches sont complémentaires, mais ne remplissent pas exactement la même fonction.

5. Les cinq éléments fondamentaux d’une grille

Une grille exploitable doit répondre à cinq questions.

Sans méthode de contrôle, un critère reste souvent trop vague.

6. Première étape : identifier le résultat attendu

Avant de construire une grille, il faut comprendre précisément ce que la production doit accomplir.

Une même réponse peut être satisfaisante dans un contexte et insuffisante dans un autre.

7. Deuxième étape : transformer les consignes en critères

Une consigne peut contenir plusieurs exigences.

Il faut les séparer pour éviter qu’un contrôle global masque un défaut particulier.

Chaque critère pourra être contrôlé séparément.

8. Troisième étape : rendre les critères observables

Un critère observable permet de constater un résultat à partir d’éléments identifiables.

Certains critères qualitatifs restent nécessaires, mais ils doivent être accompagnés d’indicateurs concrets.

9. Quatrième étape : choisir la méthode de contrôle

Chaque critère doit être associé à une méthode adaptée.

Une même méthode ne convient pas à tous les critères.

10. Cinquième étape : définir les statuts de contrôle

Une grille ne doit pas réduire toutes les situations à « correct » ou « incorrect ».

Certains éléments peuvent être partiellement conformes ou impossibles à vérifier.

11. Construire une grille simple

Voici une structure de base utilisable dans un tableau ou un document.

La grille permet de comprendre pourquoi un élément est validé ou rejeté.

12. Ajouter une colonne de preuve

Pour les documents importants, il est préférable de conserver la preuve ou l’observation ayant conduit au résultat.

Une preuve peut prendre plusieurs formes : passage cité, résultat de calcul, capture de test, référence documentaire ou observation mesurable.

13. Distinguer critères bloquants et critères secondaires

Tous les défauts n’ont pas les mêmes conséquences.

Un critère bloquant correspond à une exigence dont le non-respect empêche la validation de la production.

Un critère secondaire concerne un élément améliorable sans rendre nécessairement le résultat inutilisable.

14. Construire une grille avec des niveaux de priorité

Une grille peut distinguer trois niveaux.

Cette classification aide à organiser les corrections.

Elle doit cependant être définie avant le contrôle, ou selon une procédure de classement explicite, pour éviter de minimiser un problème après sa découverte.

15. Les critères objectifs et les critères qualitatifs

Certains critères permettent une décision relativement objective.

D’autres nécessitent une appréciation.

Une bonne grille associe, lorsque cela est possible, les critères qualitatifs à des observations concrètes.

16. Éviter les critères trop larges

Un critère regroupant plusieurs exigences devient difficile à évaluer.

Un critère doit idéalement porter sur une exigence identifiable.

17. Définir des références fiables

Une grille ne peut être plus fiable que les références sur lesquelles elle repose.

Les références possibles comprennent :

• la demande initiale validée ;
• un cahier des charges ;
• une documentation officielle ;
• des données chiffrées vérifiées ;
• une norme applicable ;
• une procédure interne validée ;
• des résultats attendus définis avant le test.

18. Gérer les versions des références

Les exigences et documents de référence peuvent évoluer.

Une grille conçue pour une ancienne version d’un logiciel ou d’une réglementation peut devenir inadaptée.

Il est utile de conserver :

• le titre de la référence ;
• sa version ;
• sa date ;
• son organisme ou auteur ;
• la date du contrôle ;
• le périmètre d’application.

19. Grille de vérification d’un courrier professionnel

Supposons qu’une entreprise souhaite vérifier un courriel de confirmation.

Cette grille peut être utilisée pour contrôler plusieurs courriels de même nature.

20. Grille de vérification d’un article pédagogique

Pour un cours destiné à des débutants, les critères peuvent porter sur la progression et l’exactitude des notions.

Un cours peut être bien présenté et pourtant insuffisant sur le fond. La grille doit donc examiner les deux dimensions.

21. Grille de vérification d’un calcul comptable

Les calculs se prêtent particulièrement bien à des contrôles structurés.

Les résultats attendus doivent être calculés indépendamment de la réponse à contrôler.

22. Grille de vérification d’une procédure informatique

Une procédure informatique peut être examinée selon plusieurs dimensions.

23. Grille de vérification d’une réponse JSON

Lorsqu’une IA doit produire un résultat structuré en JSON, certains contrôles peuvent être automatisés.

24. Distinguer validation syntaxique et validation métier

La validation syntaxique vérifie que les données respectent une forme attendue.

La validation métier vérifie qu’elles respectent les règles propres à l’activité.

25. Peut-on automatiser une grille de vérification ?

Oui, certains contrôles peuvent être réalisés automatiquement.

Par exemple :

• compter les caractères ;
• vérifier la présence d’un champ ;
• contrôler un format de date ;
• recalculer un total ;
• valider une structure JSON ;
• tester une fonction informatique.

D’autres contrôles restent plus difficiles à automatiser de manière fiable.

Exemples :

• évaluer la pertinence d’un argument ;
• juger l’adaptation d’un texte à son public ;
• déterminer si une conclusion est suffisamment nuancée ;
• évaluer la qualité pédagogique d’un exemple.

Une grille peut donc combiner contrôles automatiques et validation humaine.

26. Comprendre les tests automatisés

Un test automatisé compare un résultat obtenu à un résultat attendu ou à une propriété définie.

Le test ne demande pas à la fonction si elle pense avoir raison : il compare directement sa sortie à une référence.

C’est un principe fondamental de la vérification indépendante.

27. Construire des jeux de tests

Un jeu de tests est un ensemble de situations utilisées pour examiner le comportement d’un système.

Tester un seul exemple ne suffit généralement pas à établir qu’une solution fonctionne dans tous les cas.

Le résultat attendu doit être défini à partir des règles métier, et non inventé après avoir observé la sortie du système.

28. Tester les cas limites

Un cas limite correspond à une situation située près des frontières d’une règle.

Les cas limites permettent de repérer des erreurs qui ne se manifestent pas dans les situations ordinaires.

29. Prévoir les données manquantes

Une grille doit définir ce qui se passe lorsqu’une information nécessaire n’est pas disponible.

30. Éviter les grilles inutilement complexes

Une grille trop longue peut devenir difficile à utiliser.

Elle risque de multiplier des critères redondants ou sans lien avec l’objectif.

Une bonne grille doit être :

• proportionnée au risque ;
• centrée sur les exigences importantes ;
• compréhensible ;
• facile à appliquer ;
• suffisamment précise pour être reproductible.

31. Construire une grille avant de générer la réponse

Il est souvent préférable de définir les critères avant la production.

Cette méthode évite d’adapter les exigences après avoir vu le résultat.

La validation humaine des critères renforce leur indépendance par rapport à la réponse qui sera ensuite produite.

32. Faire appliquer une grille par une IA

Une IA peut aider à appliquer une grille préalablement définie.

Mais cela ne signifie pas que tous les contrôles deviennent indépendants.

Pour les critères nécessitant un calcul, un test ou une source extérieure, il reste préférable d’utiliser l’outil ou la référence appropriée.

33. Faire contrôler la grille elle-même

Une grille peut être incomplète, contradictoire ou mal conçue.

Avant de l’utiliser, il faut vérifier :

• que chaque exigence importante possède un critère ;
• que les critères ne se contredisent pas ;
• que les méthodes sont applicables ;
• que les références existent ;
• que les priorités sont cohérentes ;
• que les statuts sont définis.

34. Comprendre la couverture d’une grille

La couverture désigne la part des exigences prises en compte par les contrôles.

Ce taux indique seulement que 75 % des exigences identifiées sont couvertes.

Il ne signifie pas que la production est correcte à 75 %, ni que les contrôles sont fiables à 75 %.

35. Pourquoi un score global peut être trompeur

Une grille peut produire un score global, mais celui-ci doit être interprété avec prudence.

36. Définir une règle de décision

Une grille complète doit préciser comment interpréter les résultats.

Cette règle est un exemple de méthode interne, à adapter au contexte et au niveau de risque.

37. Conserver la traçabilité des contrôles

La traçabilité permet de comprendre comment une décision a été prise.

Pour un contrôle important, conservez :

• la version de la production ;
• la version de la grille ;
• les références utilisées ;
• la date du contrôle ;
• les résultats observés ;
• les anomalies ;
• les corrections ;
• la décision finale.

Cette pratique facilite les vérifications ultérieures et les corrections.

38. Réutiliser une grille sans la figer

Une grille réutilisable permet de contrôler plusieurs productions comparables.

Par exemple :

• des courriels de confirmation ;
• des fiches produits ;
• des rapports mensuels ;
• des procédures de support informatique ;
• des exercices pédagogiques.

Mais elle doit évoluer lorsque les exigences changent.

Une grille réutilisable n’est donc pas une grille immuable.

39. Modèle de grille universelle

Voici une structure générique à adapter.

40. Prompt maître pour construire une grille

41. Exemple complet : vérifier un rapport d’activité

Situation professionnelle

Une entreprise demande à une IA de rédiger une analyse mensuelle à partir de données commerciales.

Données de référence

Demande initiale

Le rapport doit :

1. présenter les variations en euros ou en unités ;
2. calculer les variations en pourcentage ;
3. identifier les évolutions positives et négatives ;
4. rester neutre sur les causes ;
5. proposer deux points à examiner.

Réponse fictive de l’IA

Étape 1 — Construire les résultats attendus

Commandes :

220 − 200 = +20 commandes.

(20 ÷ 200) × 100 = +10 %.

Chiffre d’affaires :

55 000 − 50 000 = +5 000 €.

(5 000 ÷ 50 000) × 100 = +10 %.

Réclamations :

18 − 12 = +6 réclamations.

(6 ÷ 12) × 100 = +50 %.

Étape 2 — Appliquer la grille

Étape 3 — Identifier les problèmes

La grille met en évidence quatre défauts :

• le pourcentage des commandes est incorrect ;
• le sens de variation des réclamations est inversé ;
• la conclusion sur la satisfaction client n’est pas justifiée ;
• les deux points à examiner sont absents.

Étape 4 — Corriger la réponse

Étape 5 — Vérifier le taux de réclamation

Pour approfondir l’analyse, on peut calculer le rapport entre les réclamations et les commandes, sous réserve que les deux indicateurs soient définis sur un périmètre comparable.

Septembre : 12 ÷ 200 × 100 = 6 %.

Octobre : 18 ÷ 220 × 100 ≈ 8,18 %.

Le taux augmente donc d’environ 2,18 points de pourcentage.

Ce constat ne permet pas, à lui seul, d’identifier les causes de cette évolution.

Ce que démontre l’exemple

Une grille indépendante permet de détecter des erreurs numériques, des interprétations injustifiées et des exigences oubliées.

Elle rend les corrections plus précises et permet de justifier la décision finale.

42. Exercice 1 — Transformer des consignes en critères

Travail demandé :

1. Identifiez les exigences distinctes.
2. Transformez-les en critères de vérification.
3. Proposez une méthode de contrôle pour chaque critère.
4. Indiquez quels critères nécessitent une appréciation qualitative.

43. Exercice 2 — Construire une grille de calcul

Travail demandé :

1. Définissez le critère à vérifier.
2. Identifiez les données de référence.
3. Décrivez la méthode de contrôle.
4. Calculez le résultat attendu.
5. Attribuez un statut.

44. Exercice 3 — Distinguer critères critiques et secondaires

Travail demandé :

1. Classez les problèmes par priorité.
2. Expliquez votre classement.
3. Indiquez si le devis peut être validé.
4. Proposez l’ordre des corrections.

45. Exercice 4 — Concevoir des tests indépendants

Travail demandé :

1. Définissez la règle de validation.
2. Proposez cinq cas de test.
3. Indiquez les résultats attendus.
4. Expliquez l’intérêt des cas limites.

46. Exercice 5 — Cas pratique : grille de validation d’un rapport

Situation professionnelle

Une entreprise utilise une IA pour rédiger un compte rendu mensuel.

La demande impose :

• un tableau des chiffres d’affaires ;
• les variations en euros et en pourcentage ;
• une conclusion neutre ;
• deux recommandations ;
• aucune cause inventée.

Données de référence

Production fictive de l’IA

Travail demandé :

1. Construisez une grille comprenant au moins cinq critères.
2. Précisez les références et méthodes de contrôle.
3. Calculez tous les résultats attendus.
4. Appliquez les statuts de validation.
5. Identifiez les défauts critiques ou majeurs.
6. Proposez une version corrigée.
7. Formulez une décision de validation.

47. Questions fréquentes — 20 questions

48. Glossaire

49. Les dix idées essentielles à retenir

1. Une grille indépendante compare une production à des exigences définies et à des références contrôlables.
2. L’indépendance ne dépend pas du seul fait d’utiliser un autre prompt ou un autre modèle.
3. Chaque exigence importante doit être transformée en critère identifiable.
4. Un critère doit être associé à une méthode de contrôle adaptée.
5. Les références doivent être fiables, pertinentes et suffisamment à jour.
6. Les statuts doivent distinguer conformité, non-conformité et impossibilité de vérifier.
7. Les critères critiques peuvent bloquer une validation même si les autres sont satisfaits.
8. Les contrôles automatisés sont utiles pour les règles mesurables, mais ne remplacent pas toutes les évaluations humaines.
9. Une grille doit être vérifiée, documentée et adaptée lorsque les exigences évoluent.
10. Une validation ne vaut que pour le périmètre réellement contrôlé.

50. Ressources complémentaires

• OpenAI — Evals : principes d’évaluation des systèmes utilisant des modèles d’IA.
• NIST — AI Risk Management Framework : cadre de gestion des risques associés à l’IA.
• OWASP — Risques des applications utilisant des modèles de langage : risques et bonnes pratiques de sécurité.
• CNIL — Intelligence artificielle : ressources relatives aux usages de l’IA et à la protection des données.

Les grilles et exemples proposés dans ce cours sont des modèles pédagogiques. Leur utilisation dans un contexte professionnel doit tenir compte des exigences, normes, obligations et risques réellement applicables.

51. Passer à la pratique

Pour consolider vos acquis, entraînez-vous à :

• transformer une demande en critères de contrôle ;
• définir des résultats attendus ;
• choisir les références adaptées ;
• identifier les critères bloquants ;
• concevoir des cas de test ;
• contrôler les calculs d’un rapport ;
• repérer les affirmations non justifiées ;
• documenter une décision de validation.

52. Préparer le cours suivant

Vous savez désormais concevoir une grille permettant de vérifier une production à partir d’exigences et de références définies.

Le prochain cours sera consacré à une autre compétence essentielle : tester plusieurs variantes de prompts.

Vous apprendrez à comparer différentes formulations d’une même demande, à organiser des essais cohérents et à déterminer si une modification du prompt apporte une amélioration réelle.