Mesurer la qualité des réponses

1. Objectifs pédagogiques

À la fin de ce cours, vous serez capable de :

• Définir ce que signifie la qualité d’une réponse générée par une IA.
• Distinguer les différentes dimensions de la qualité.
• Choisir des critères adaptés à une tâche.
• Construire une grille de notation cohérente.
• Calculer des taux de réussite et des scores pondérés.
• Utiliser des indicateurs d’exactitude, de complétude et de conformité.
• Comprendre les notions de précision, de rappel et de score F1.
• Différencier une évaluation automatique d’une évaluation humaine.
• Identifier les limites des moyennes et des scores globaux.
• Construire un protocole simple de mesure de qualité.

2. Que signifie « qualité d’une réponse » ?

La qualité d’une réponse correspond à son adéquation aux objectifs de la tâche et aux exigences définies.

Il n’existe pas une seule définition universelle de la qualité.

Une réponse peut être excellente pour un usage et inadaptée pour un autre.

La qualité doit donc être appréciée par rapport à une tâche précise.

3. Pourquoi mesurer la qualité ?

Mesurer la qualité permet notamment de :

• repérer les erreurs récurrentes ;
• comparer plusieurs prompts ;
• identifier les points faibles d’un système ;
• vérifier le respect d’un cahier des charges ;
• suivre l’évolution des performances ;
• déterminer si une automatisation nécessite une intervention humaine ;
• justifier une décision de déploiement ou de modification.

Sans mesure, les décisions reposent souvent sur des impressions.

4. Les principales dimensions de la qualité

Une réponse peut être évaluée selon plusieurs dimensions.

Selon la tâche, certaines dimensions sont essentielles et d’autres secondaires.

5. Mesurer l’exactitude

L’exactitude consiste à vérifier que les informations fournies correspondent aux faits, aux données de référence ou aux résultats attendus.

Pour évaluer l’exactitude, il faut disposer d’une référence fiable ou d’une méthode de vérification adaptée.

6. Mesurer la pertinence

La pertinence indique si la réponse traite effectivement la demande.

La seconde réponse traite directement la différence demandée.

La pertinence ne garantit toutefois pas, à elle seule, la complétude ou l’exactitude.

7. Mesurer la complétude

La complétude mesure la présence des éléments attendus.

Elle peut être calculée lorsqu’une liste de champs obligatoires est définie.

Taux de complétude = éléments obligatoires présents ÷ éléments obligatoires attendus × 100.

8. Mesurer le respect des consignes

Une réponse peut être factuellement correcte tout en ne respectant pas le format ou les contraintes imposées.

On peut vérifier :

• la présence d’un tableau ;
• le respect d’une limite de longueur ;
• l’utilisation des colonnes demandées ;
• la présence d’un format JSON valide ;
• l’absence d’informations supplémentaires interdites ;
• l’application des règles concernant les données manquantes.

9. Mesurer la clarté

La clarté concerne la facilité de compréhension de la réponse.

Elle peut dépendre :

• du vocabulaire utilisé ;
• de la longueur des phrases ;
• de l’organisation des idées ;
• de la définition des termes techniques ;
• de la présence d’exemples adaptés ;
• de l’absence d’ambiguïtés.

Contrairement à certains contrôles techniques, la clarté nécessite souvent une appréciation humaine ou une grille descriptive.

Décrire précisément les niveaux aide plusieurs évaluateurs à appliquer la grille de manière plus cohérente.

10. Mesurer la cohérence

La cohérence correspond à l’absence de contradictions injustifiées dans une réponse.

Le calcul est correct, mais la conclusion est contradictoire avec le résultat positif.

Il faut donc contrôler non seulement les données isolées, mais aussi les relations entre les différentes parties.

11. Mesurer la fiabilité

La fiabilité concerne la capacité du système à produire des résultats satisfaisants de manière suffisamment régulière.

Elle nécessite généralement plusieurs essais et plusieurs situations.

Ce résultat décrit les essais réalisés. Il ne garantit pas que le système réussira 90 % de toutes les futures demandes.

La représentativité des cas et le nombre d’essais influencent la portée de la conclusion.

12. Les critères critiques et les critères secondaires

Tous les critères ne présentent pas la même importance.

Dans certains contextes, une seule erreur peut rendre une réponse inutilisable.

13. Les différentes méthodes de notation

Plusieurs méthodes peuvent être utilisées pour évaluer les réponses.

La méthode doit être choisie selon ce que l’on souhaite réellement mesurer.

14. Construire une grille de notation

Une grille doit préciser les critères et la manière de les vérifier.

Pour être reproductible, la grille doit également préciser les conditions d’attribution des notes intermédiaires.

15. Calculer un score simple

Lorsqu’une grille attribue des points à plusieurs critères, on peut additionner les notes obtenues.

Ce score synthétise les résultats de la grille. Il ne signifie pas nécessairement que 80 % des informations sont exactes.

16. Comprendre la pondération

La pondération consiste à attribuer un poids différent aux critères selon leur importance.

Par exemple, pour une réponse technique :

• exactitude : 40 % ;
• complétude : 25 % ;
• respect des consignes : 20 % ;
• clarté : 15 %.

La somme des poids est égale à 100 %.

Cette répartition est un choix de conception, et non une règle universelle.

17. Calculer un score pondéré

Pour chaque critère, on multiplie le score normalisé par son poids.

Score pondéré = somme des (score du critère × poids du critère).

Ce score permet de synthétiser plusieurs dimensions, à condition que les critères, les échelles et les poids soient définis de manière cohérente.

18. Les limites d’un score global

Un score global peut masquer des problèmes importants.

Malgré ce score élevé, une exactitude de 40/100 peut être totalement inacceptable pour la tâche.

19. Définir des seuils de validation

Un seuil de validation est une valeur minimale qu’une réponse doit atteindre pour être acceptée.

Les seuils dépendent du contexte et des conséquences d’une erreur.

Ces seuils illustrent une méthode de décision. Ils ne constituent pas des normes applicables à tous les projets.

20. Calculer un taux de réussite

Lorsqu’un essai est classé comme réussi ou échoué selon une règle définie, on peut calculer un taux de réussite.

Taux de réussite = essais réussis ÷ essais réalisés × 100.

Il faut préciser ce que signifie exactement « réussir ».

Un taux de réussite calculé sur le format ne mesure pas nécessairement l’exactitude des informations.

21. Distinguer les mesures par critère et par réponse

Une erreur fréquente consiste à confondre la proportion de critères satisfaits et la proportion de réponses entièrement conformes.

Ces deux indicateurs répondent à des questions différentes.

22. Comprendre la précision

Dans une tâche d’extraction ou de classification, la précision mesure la proportion des éléments identifiés comme positifs qui sont réellement corrects.

Précision = vrais positifs ÷ (vrais positifs + faux positifs).

Un vrai positif est un élément correctement identifié.

Un faux positif est un élément signalé à tort.

Une précision élevée signifie que les éléments signalés sont généralement corrects dans les données évaluées.

23. Comprendre le rappel

Le rappel mesure la proportion des éléments réellement positifs qui ont été retrouvés.

Rappel = vrais positifs ÷ (vrais positifs + faux négatifs).

Un faux négatif est un élément positif qui n’a pas été identifié.

Un rappel élevé signifie que peu d’éléments positifs sont oubliés dans les données évaluées.

24. Comparer précision et rappel

La précision et le rappel sont complémentaires.

Le choix entre les deux dépend notamment des conséquences respectives de ces erreurs.

25. Comprendre le score F1

Le score F1 combine précision et rappel au moyen de leur moyenne harmonique.

F1 = 2 × précision × rappel ÷ (précision + rappel).

Dans cette formule, les valeurs doivent être exprimées sur la même échelle.

Le score F1 est utile lorsqu’on souhaite résumer l’équilibre entre précision et rappel.

26. Utiliser une matrice de confusion

Une matrice de confusion permet de comparer les classifications produites par un système aux catégories réelles.

Dans un problème binaire, elle distingue quatre situations.

Cette représentation permet de comprendre la nature des erreurs plutôt que de regarder uniquement un score global.

27. Calculer l’exactitude d’une classification

Dans une tâche de classification, l’accuracy, parfois appelée exactitude globale, correspond à la proportion de prédictions correctes.

Accuracy = (VP + VN) ÷ (VP + VN + FP + FN).

Cette mesure est simple, mais elle peut être trompeuse lorsque les classes sont très déséquilibrées.

28. Attention aux classes déséquilibrées

Un jeu de données est déséquilibré lorsqu’une catégorie est beaucoup plus fréquente qu’une autre.

29. Évaluer les réponses ouvertes

Les réponses ouvertes sont plus difficiles à évaluer que les calculs ou les classifications simples.

Par exemple, plusieurs résumés différents peuvent être corrects sans utiliser les mêmes mots.

Il faut donc distinguer :

• la présence des informations essentielles ;
• la fidélité au document ;
• l’absence d’invention ;
• la clarté ;
• le respect de la longueur ;
• la cohérence.

Une comparaison purement textuelle ne suffit pas toujours.

30. Les limites des mesures de similarité textuelle

Certains outils comparent une réponse générée à une réponse de référence.

Ils peuvent mesurer des correspondances de mots, de séquences ou des proximités sémantiques.

Ces mesures peuvent être utiles, mais elles présentent des limites.

• Deux réponses correctes peuvent utiliser des formulations différentes.
• Deux textes proches peuvent contenir une différence factuelle essentielle.
• Un score de similarité élevé ne garantit pas l’exactitude.
• La qualité de la référence influence le résultat.

31. Mesurer les informations inventées

Une IA peut produire des affirmations qui ne sont pas justifiées par les données fournies ou par des sources fiables.

Dans une tâche d’extraction ou de résumé documentaire, il faut contrôler la fidélité à la source.

On peut notamment compter :

• les affirmations correctement appuyées par le document ;
• les affirmations contredites par le document ;
• les affirmations non vérifiables à partir du document.

Une affirmation non étayée par un document n’est pas nécessairement fausse dans l’absolu. Elle est toutefois inappropriée si la tâche exige de s’appuyer exclusivement sur ce document.

32. Mesurer la qualité des citations et des sources

Lorsqu’une réponse contient des références, il faut vérifier :

• que les sources existent ;
• qu’elles sont pertinentes ;
• qu’elles soutiennent effectivement les affirmations ;
• que les dates et les versions sont adaptées ;
• que les citations ne sont pas attribuées à tort.

33. Évaluer les sorties structurées

Lorsqu’une IA doit produire un tableau, un CSV ou un JSON, la qualité comporte une dimension technique.

Pour un JSON, on peut vérifier :

• la validité syntaxique ;
• la présence des clés obligatoires ;
• le type des valeurs ;
• le respect d’un schéma ;
• l’exactitude des données ;
• l’absence de texte supplémentaire non autorisé.

Un JSON peut être parfaitement valide tout en contenant des informations fausses.

34. Automatiser les contrôles déterministes

Un contrôle est déterministe lorsqu’une règle explicite permet de vérifier le résultat de manière reproductible.

Par exemple :

• vérifier qu’un JSON est valide ;
• contrôler qu’une valeur appartient à une liste autorisée ;
• recalculer une opération ;
• comparer une date à un format attendu ;
• vérifier la présence d’une colonne ;
• contrôler qu’un identifiant respecte une expression régulière.

Ces contrôles sont souvent plus fiables qu’une simple demande à une IA de s’autoévaluer.

Une application peut vérifier cette règle directement, sans demander à un modèle de juger la réponse.

35. Évaluer avec une intervention humaine

Certains critères exigent une expertise ou un jugement contextualisé.

C’est notamment le cas pour :

• la pertinence d’une recommandation ;
• la qualité pédagogique ;
• le caractère approprié d’un ton ;
• la compréhension d’une situation complexe ;
• les risques liés à une décision professionnelle.

Une évaluation humaine doit toutefois être organisée.

Il faut fournir des consignes claires et, lorsque cela est pertinent, plusieurs exemples de notation.

36. Mesurer l’accord entre évaluateurs

Deux personnes peuvent attribuer des notes différentes à une même réponse.

On parle d’accord interévaluateurs pour décrire le degré de concordance entre leurs jugements.

Ce résultat indique leur proportion de décisions identiques.

Il ne prouve pas que leurs décisions sont correctes.

Pour certaines analyses, des indicateurs plus élaborés, comme le coefficient kappa, permettent de tenir compte d’une partie de l’accord attendu par hasard.

37. Utiliser une IA comme évaluateur

Un modèle peut aider à analyser une réponse selon une grille.

Il peut notamment :

• repérer des sections manquantes ;
• comparer une réponse à des critères ;
• signaler des contradictions possibles ;
• proposer une justification pour chaque note ;
• identifier des points nécessitant une vérification.

Mais il peut également se tromper.

38. Exemple de prompt d’évaluation

Ce prompt peut assister un évaluateur, mais ne remplace pas les contrôles factuels ou techniques nécessaires.

39. Évaluer plusieurs réponses de manière comparable

Pour comparer plusieurs réponses, il faut appliquer :

• la même tâche ;
• les mêmes références ;
• la même grille ;
• les mêmes règles de notation ;
• les mêmes critères éliminatoires.

Lorsque cela est possible, il est utile de masquer l’origine des réponses et d’alterner leur ordre de présentation.

Cette précaution limite certains biais de préférence.

40. Calculer une moyenne de scores

Pour résumer plusieurs évaluations, on peut calculer une moyenne arithmétique.

Moyenne = somme des scores ÷ nombre de scores.

La moyenne donne une vue d’ensemble, mais ne décrit pas à elle seule la dispersion des résultats.

41. Comprendre la médiane

La médiane est la valeur centrale d’une série de scores classés dans l’ordre.

La valeur faible de 20 influence fortement la moyenne, tandis que la médiane reste à 80.

La médiane peut donc compléter utilement la moyenne.

42. Mesurer la dispersion

La dispersion décrit la manière dont les résultats varient.

Deux prompts peuvent avoir la même moyenne mais une régularité différente.

Les moyennes sont identiques, mais les résultats du prompt A sont plus dispersés dans cet exemple.

L’étendue est un indicateur simple. Pour des analyses plus approfondies, on peut également utiliser l’écart-type ou des quantiles.

43. Comprendre les limites des petits échantillons

Un échantillon de quelques réponses peut donner une première indication, mais il ne suffit pas toujours pour conclure.

Il faut considérer :

• le nombre de cas ;
• leur diversité ;
• les conditions de test ;
• la variabilité du modèle ;
• les conséquences des erreurs.

Les analyses statistiques peuvent aider à quantifier l’incertitude, mais elles nécessitent un protocole et des hypothèses adaptés.

44. Mesurer la qualité dans le temps

La qualité observée peut évoluer lorsque :

• le modèle change ;
• le prompt est modifié ;
• les données d’entrée évoluent ;
• de nouveaux types de demandes apparaissent ;
• les règles métier sont mises à jour.

Il est donc utile de conserver un jeu de tests de référence et de réévaluer régulièrement le système lorsque des changements significatifs interviennent.

45. Construire un tableau de bord de qualité

Un tableau de bord permet de suivre plusieurs indicateurs sans les confondre.

Le tableau montre qu’un système peut respecter parfaitement un critère tout en restant insuffisant sur d’autres.

46. Cas pratique complet : évaluer des tickets informatiques

Situation professionnelle

Une entreprise utilise une IA pour transformer les messages des utilisateurs en tickets de support.

Chaque ticket doit comporter :

• un titre ;
• une description ;
• l’équipement concerné ;
• une priorité justifiée par les règles disponibles ;
• les informations manquantes.

Demande utilisateur

Réponse générée par l’IA

Analyse

La réponse reprend correctement plusieurs éléments de la demande.

Mais la priorité « Critique » n’est pas justifiée par les informations fournies.

En l’absence de règle de qualification, l’IA ne peut pas attribuer cette priorité de manière fiable.

Grille d’évaluation

Calcul de complétude des champs

Les cinq champs demandés sont présents.

Complétude structurelle : 5 ÷ 5 × 100 = 100 %.

Calcul de conformité des critères

Quatre critères sont satisfaits sur cinq.

4 ÷ 5 × 100 = 80 %.

Décision

Si la priorité justifiée est un critère obligatoire, le ticket doit être corrigé malgré sa complétude structurelle de 100 %.

Réponse corrigée

La réponse corrigée évite d’attribuer arbitrairement une priorité.

Elle propose également des informations complémentaires utiles au diagnostic, sans les présenter comme des faits établis.

47. Construire un protocole complet de mesure

Une évaluation rigoureuse peut suivre les étapes suivantes.

Il faut ensuite analyser les échecs, vérifier les limites et décider des améliorations à apporter.

48. Modèle de fiche d’évaluation réutilisable

49. Exercice 1 — Évaluer une réponse selon une grille

Travail demandé :

1. Déterminez le nombre de critères satisfaits.
2. Calculez le taux de conformité en considérant les cinq critères de même importance.
3. Expliquez pourquoi cette mesure ne suffit pas à évaluer toute la qualité pédagogique.
4. Proposez une amélioration du prompt.

50. Exercice 2 — Calculer un score pondéré

Travail demandé :

1. Vérifiez que les poids totalisent 100 %.
2. Calculez la contribution de chaque critère.
3. Calculez le score pondéré.
4. Expliquez pourquoi une note élevée ne garantit pas l’absence d’erreur critique.

51. Exercice 3 — Calculer précision, rappel et F1

Travail demandé :

1. Calculez la précision.
2. Calculez le rappel.
3. Calculez le score F1.
4. Calculez l’accuracy.
5. Expliquez les différences entre ces indicateurs.

52. Exercice 4 — Détecter un score trompeur

Travail demandé :

1. Calculez son accuracy.
2. Calculez le rappel pour les demandes urgentes.
3. Expliquez pourquoi l’accuracy est trompeuse.
4. Proposez deux indicateurs supplémentaires.
5. Indiquez une amélioration du protocole de test.

53. Exercice 5 — Cas pratique d’évaluation professionnelle

Situation

Une entreprise utilise une IA pour produire des comptes rendus de réunion.

Chaque compte rendu doit :

• identifier toutes les décisions ;
• recenser toutes les actions ;
• attribuer correctement les responsables ;
• ne pas inventer d’échéances ;
• respecter un format imposé.

Résultats fictifs

Deux prompts sont testés sur les mêmes 20 réunions.

Travail demandé :

1. Calculez les taux de conformité pour chaque critère.
2. Identifiez les améliorations les plus importantes.
3. Expliquez pourquoi les résultats ne permettent pas de calculer exactement le taux de comptes rendus entièrement conformes.
4. Identifiez les critères critiques.
5. Proposez une méthode d’évaluation complémentaire.
6. Formulez une conclusion professionnelle prudente.

54. Questions fréquentes — 20 questions

55. Glossaire

56. Les dix idées essentielles à retenir

1. La qualité d’une réponse dépend de la tâche et de ses exigences.
2. Une réponse agréable à lire n’est pas nécessairement exacte.
3. Il faut distinguer exactitude, pertinence, complétude, conformité et clarté.
4. Une grille de notation doit être définie avant l’évaluation.
5. Les critères critiques ne doivent pas être masqués par un score global.
6. Les scores pondérés permettent de tenir compte de l’importance des critères.
7. La précision, le rappel et le F1 sont utiles pour certaines tâches d’extraction ou de classification.
8. Les évaluations automatiques et humaines possèdent chacune des avantages et des limites.
9. Un taux de réussite élevé sur quelques essais ne garantit pas la fiabilité générale.
10. La mesure doit conduire à une décision argumentée et à des améliorations vérifiables.

57. Ressources complémentaires

• OpenAI — Evals : principes et outils d’évaluation des applications utilisant des modèles.
• OpenAI — Prompt engineering : conception et amélioration des instructions.
• Scikit-learn — Model evaluation : documentation des métriques de classification, dont la précision, le rappel et le F1.
• Scikit-learn — Confusion matrix : définition et utilisation des matrices de confusion.
• NIST — AI Risk Management Framework : cadre de référence pour l’identification, la mesure et la gestion des risques de l’IA.

Les résultats chiffrés présentés dans les exemples et les exercices sont fictifs et destinés à l’apprentissage des méthodes d’évaluation. Ils ne constituent pas des mesures réelles de performances commerciales.

58. Passer à la pratique

Pour consolider vos acquis, entraînez-vous à :

• définir les critères de qualité d’une réponse ;
• créer une grille de notation ;
• identifier les erreurs critiques ;
• calculer des scores simples et pondérés ;
• mesurer précision, rappel et F1 ;
• analyser une matrice de confusion ;
• comparer plusieurs variantes de prompts ;
• interpréter les résultats sans généralisation abusive ;
• proposer des améliorations ciblées.

59. Préparer le cours suivant

Vous savez désormais définir et mesurer plusieurs dimensions de la qualité d’une réponse générée par une intelligence artificielle.

Le prochain cours abordera l’organisation d’une bibliothèque de prompts.

Vous apprendrez à classer vos modèles d’instructions, gérer leurs versions, documenter leurs usages et retrouver rapidement les prompts adaptés à vos besoins.