Intelligence artificielle · Chapitre 14 · Cours 12

Comprendre les limites des analyses prédictives

L’intelligence artificielle peut anticiper des ventes, estimer une demande ou calculer un risque. Mais une prévision n’est jamais une certitude. Apprenez à comprendre les limites des modèles, à mesurer leurs erreurs et à utiliser leurs résultats avec discernement.

À la fin de ce cours, vous saurez :

  • Définir une analyse prédictive.
  • Distinguer prévision, estimation et certitude.
  • Expliquer le rôle des données historiques.
  • Identifier les risques liés aux données incomplètes ou biaisées.
  • Comprendre le surapprentissage et le sous-apprentissage.
  • Distinguer corrélation et causalité.
  • Identifier la saisonnalité et les ruptures de tendance.
  • Comprendre les intervalles de prédiction.
  • Calculer les erreurs de prévision.
  • Comparer un modèle à une prévision simple.
  • Évaluer les résultats sur des données non utilisées pour l’entraînement.
  • Reconnaître les risques de fuite de données.
  • Identifier les situations où un modèle devient moins fiable.
  • Utiliser l’IA pour analyser une prévision sans lui accorder une confiance excessive.
  • Mettre en place des contrôles et une supervision humaine.
Prérequis

Savoir lire un tableau, calculer des pourcentages, interpréter une évolution et comprendre les principales statistiques descriptives. Les cours précédents du chapitre présentent ces compétences.

1. Qu’est-ce qu’une analyse prédictive ?

Une analyse prédictive consiste à exploiter des données et une méthode statistique ou algorithmique pour estimer une valeur ou un événement qui n’est pas encore connu.

Elle peut notamment servir à :

  • Prévoir les ventes du mois prochain.
  • Estimer le nombre de commandes à préparer.
  • Anticiper une consommation d’énergie.
  • Évaluer un risque de panne.
  • Estimer la probabilité de départ d’un client.
  • Prévoir les besoins en stock.
Exemple professionnel

Une boutique dispose de deux années de ventes mensuelles. Elle utilise ces données pour estimer les ventes du mois suivant.

Le résultat constitue une prévision, pas une commande déjà enregistrée ni un chiffre d’affaires garanti.

2. Distinguer analyse descriptive et prédictive

Analyse descriptive

Que s’est-il passé ? Elle résume les données observées : ventes, moyennes, écarts et tendances.

Analyse prédictive

Que pourrait-il se passer ? Elle estime une valeur future ou inconnue à partir d’informations disponibles.

Une analyse descriptive correcte ne garantit pas une prévision correcte. Les relations observées dans le passé peuvent évoluer.

3. Comprendre le principe d’un modèle prédictif

Un modèle prédictif est une méthode qui transforme des informations d’entrée en une estimation.

1
Données disponibles

Historique des ventes, prix, périodes, promotions ou autres variables.

2
Apprentissage ou ajustement

Recherche de relations et de régularités dans les données.

3
Prédiction

Production d’une valeur estimée pour une nouvelle situation.

4
Évaluation

Comparaison des prévisions aux résultats réellement observés.

4. Une prévision n’est pas une certitude

Un modèle ne connaît pas l’avenir. Il produit une estimation à partir d’informations limitées et d’hypothèses.

Exemple

Une IA prévoit 12 000 € de ventes pour le mois prochain.

Les ventes réelles pourront être de 10 500 €, 12 300 € ou d’un autre montant.

La prévision de 12 000 € n’est donc pas une promesse de résultat.

À ne pas confondre

La précision apparente d’un nombre ne renseigne pas sur sa fiabilité. Une prévision affichée à 12 347,82 € peut être très incertaine, même si elle comporte deux décimales.

5. Pourquoi les données historiques sont-elles essentielles ?

Les modèles utilisent souvent des observations passées pour identifier des régularités.

Plus les données sont représentatives du problème à prévoir, plus elles peuvent être utiles.

Toutefois, disposer de nombreuses données ne suffit pas : leur qualité et leur pertinence restent déterminantes.

6. Première limite : les données insuffisantes

Un historique trop court peut empêcher d’identifier correctement une tendance ou une saisonnalité.

Exemple

Une entreprise possède seulement trois mois de ventes. Elle souhaite prévoir les ventes de décembre.

Ces trois mois ne permettent pas d’observer correctement un éventuel comportement saisonnier annuel.

Il n’existe pas de durée minimale valable pour tous les modèles. Le besoin dépend de la fréquence, de la variabilité des données et de la méthode utilisée.

7. Deuxième limite : les données de mauvaise qualité

Les erreurs dans les données peuvent se retrouver dans les prévisions.

  • Montants incorrects.
  • Doublons.
  • Dates erronées.
  • Valeurs manquantes.
  • Unités incohérentes.
  • Catégories mal renseignées.
Bonne pratique

Avant de prévoir, contrôler la qualité des données et documenter les corrections effectuées.

8. Troisième limite : les données non représentatives

Un modèle entraîné sur une population ou une situation particulière peut mal fonctionner ailleurs.

Exemple

Un modèle de ventes construit avec les données de magasins urbains n’est pas nécessairement adapté à des magasins ruraux.

Cette difficulté est liée à la représentativité des données et à la capacité du modèle à généraliser.

9. Comprendre les biais

Un biais est une déformation systématique pouvant affecter les données, la méthode ou les résultats.

Il peut apparaître lors :

  • De la collecte des données.
  • Du choix des observations.
  • De la définition de la variable à prédire.
  • De la construction du modèle.
  • De l’interprétation des résultats.
Conséquence possible

Un modèle peut reproduire ou amplifier des déséquilibres présents dans les données historiques. Cela nécessite une vigilance particulière lorsque les prévisions influencent des décisions concernant des personnes.

10. Quatrième limite : le passé ne se répète pas toujours

Les modèles prédictifs supposent souvent que certaines relations observées resteront utiles dans le futur.

Or, les conditions peuvent changer :

  • Arrivée d’un concurrent.
  • Modification des prix.
  • Changement de réglementation.
  • Évolution des habitudes des clients.
  • Crise économique.
  • Rupture d’approvisionnement.

Une prévision fiable dans un contexte peut devenir mauvaise après un changement important.

11. Comprendre la saisonnalité

La saisonnalité correspond à une variation qui se répète selon un calendrier.

Exemple

Les ventes d’une boutique peuvent augmenter chaque année avant les fêtes.

Une prévision fondée uniquement sur les derniers mois risque de ne pas prendre correctement en compte cette hausse récurrente.

Il faut distinguer la saisonnalité d’une tendance de long terme et des variations aléatoires.

12. Comprendre les ruptures de tendance

Une rupture de tendance survient lorsque l’évolution d’une série change sensiblement.

Une croissance régulière peut ralentir, s’arrêter ou s’inverser.

Exemple

Une entreprise augmente ses prix. Les ventes en quantité diminuent. Un modèle entraîné uniquement sur l’ancienne politique tarifaire peut surestimer la demande.

13. Comprendre le bruit statistique

Le bruit désigne les variations qui ne correspondent pas à une régularité stable et exploitable pour la prévision.

Un modèle peut parfois chercher à expliquer ces fluctuations comme s’il s’agissait de tendances durables.

Cela peut dégrader sa capacité à prévoir de nouvelles observations.

14. Comprendre le surapprentissage

Le surapprentissage, ou overfitting, apparaît lorsqu’un modèle s’adapte trop précisément aux données utilisées pour son entraînement.

Il peut obtenir d’excellents résultats sur ces données, mais se tromper davantage sur de nouvelles observations.

Sur les données d’entraînement

Le modèle semble très performant.

Sur de nouvelles données

Les erreurs peuvent devenir importantes.

Erreur fréquente

Considérer qu’un modèle est fiable uniquement parce qu’il reproduit presque parfaitement les données sur lesquelles il a été entraîné.

15. Comprendre le sous-apprentissage

Le sous-apprentissage, ou underfitting, apparaît lorsqu’un modèle est trop limité pour représenter les relations importantes présentes dans les données.

Il produit alors des erreurs importantes même sur les données d’entraînement.

Exemple

Un modèle prévoit toujours le même volume de ventes alors que les données présentent une saisonnalité marquée.

16. Corrélation ne signifie pas causalité

Deux variables peuvent évoluer ensemble sans que l’une provoque directement l’évolution de l’autre.

Exemple

Les ventes de glaces et la fréquentation des plages peuvent augmenter simultanément.

La température peut contribuer à expliquer les deux phénomènes. Les ventes de glaces ne provoquent pas nécessairement la fréquentation des plages.

Une variable peut être utile à la prédiction sans constituer une cause démontrée.

17. Comprendre les variables explicatives

Les variables explicatives sont les informations utilisées par le modèle pour produire une prévision.

Pour prévoir des ventes, elles peuvent inclure :

  • Le mois.
  • Les ventes passées.
  • Le prix.
  • Les promotions prévues.
  • Certains événements calendaires.

Il faut s’assurer que les variables nécessaires seront réellement disponibles au moment de produire la prévision.

18. Comprendre la fuite de données

Une fuite de données, ou data leakage, se produit lorsque le modèle utilise pendant sa construction des informations qui ne devraient pas être accessibles au moment de la prédiction.

Exemple

Un modèle censé prévoir les ventes du mois prochain utilise accidentellement une colonne contenant le chiffre d’affaires réel de ce même mois.

Ses performances paraissent excellentes, mais elles sont artificiellement favorisées.

Point de contrôle

Vérifier quelles informations étaient disponibles à la date où chaque prévision aurait réellement été produite.

19. Séparer entraînement et évaluation

Pour évaluer un modèle, il faut mesurer ses performances sur des observations qui n’ont pas servi à ajuster ce modèle.

On distingue souvent :

  • Les données d’entraînement.
  • Les données de validation.
  • Les données de test.

Les données de test doivent rester indépendantes des choix effectués pendant la construction du modèle.

20. Respecter l’ordre chronologique

Pour les séries temporelles, un découpage aléatoire peut créer des situations irréalistes ou des fuites d’information.

On privilégie généralement une évaluation chronologique.

1
Période ancienne

Entraîner le modèle sur les observations passées.

2
Période suivante

Valider les paramètres sans utiliser les données futures.

3
Période récente

Tester le modèle sur des observations tenues à l’écart.

21. Comprendre le backtesting

Le backtesting consiste à simuler des prévisions à différentes dates passées, en utilisant uniquement les informations qui auraient été disponibles à ces dates.

On compare ensuite les prévisions simulées aux valeurs réellement observées.

Cette méthode permet d’évaluer le comportement d’un modèle dans des conditions plus proches d’un usage réel.

22. Mesurer l’erreur de prévision

Pour savoir si un modèle est utile, il faut comparer ses prévisions aux valeurs observées.

Erreur signée = Valeur réelle – Valeur prévue Erreur absolue = |Valeur réelle – Valeur prévue|
Exemple

Valeur réelle : 110 commandes. Prévision : 100 commandes.

Erreur signée : +10 commandes. Erreur absolue : 10 commandes.

23. Comprendre la MAE

La MAE, ou erreur absolue moyenne, mesure la moyenne des écarts absolus entre les prévisions et les valeurs réelles.

MAE = Somme des erreurs absolues / Nombre de prévisions

Elle s’exprime dans la même unité que la variable prévue.

Interprétation

Une MAE de 8 commandes signifie que l’écart absolu moyen est de 8 commandes sur les observations évaluées.

24. Comprendre la RMSE

La RMSE, ou racine de l’erreur quadratique moyenne, accorde davantage de poids aux erreurs importantes.

RMSE = Racine carrée de [Somme des erreurs au carré / Nombre de prévisions]

Elle est utile lorsque les erreurs importantes doivent être particulièrement surveillées.

Elle est sensible aux valeurs atypiques.

25. Comprendre la MAPE et ses limites

La MAPE mesure l’erreur absolue en pourcentage des valeurs réelles.

MAPE = Moyenne de [|Réel – Prévu| / |Réel|] × 100

Elle est facile à interpréter lorsque les valeurs réelles sont strictement positives et suffisamment éloignées de zéro.

Limite importante

La MAPE n’est pas définie lorsque la valeur réelle est nulle. Elle peut également devenir instable lorsque les valeurs réelles sont très proches de zéro.

26. Comparer un modèle à une prévision naïve

Un modèle complexe n’est pas nécessairement meilleur qu’une méthode simple.

Une prévision naïve peut consister à reprendre la dernière valeur observée.

Exemple

Le mois dernier, une entreprise a reçu 100 commandes.

La prévision naïve pour le mois suivant est de 100 commandes.

Un modèle d’IA doit démontrer son intérêt par une évaluation comparative rigoureuse.

27. Comprendre les intervalles de prédiction

Une prévision peut être accompagnée d’un intervalle de prédiction qui exprime l’incertitude sur une future observation.

Exemple illustratif

Prévision centrale : 120 commandes.

Intervalle de prédiction annoncé : entre 100 et 140 commandes.

Cet intervalle est illustratif : il n’est pas calculé à partir d’un modèle statistique dans cet exemple.

Un intervalle annoncé à 95 % nécessite une méthode de construction et une validation adaptées. Il ne garantit pas que chaque valeur future se situera dans l’intervalle.

28. Ne pas confondre intervalle de confiance et intervalle de prédiction

Intervalle de confiance

Sert notamment à quantifier l’incertitude sur un paramètre ou une moyenne estimée, selon le cadre statistique utilisé.

Intervalle de prédiction

Vise à encadrer une future observation en tenant compte de l’incertitude pertinente.

Ces deux intervalles ne répondent pas à la même question.

29. Plus l’horizon est éloigné, plus l’incertitude peut augmenter

Prévoir la semaine prochaine est souvent plus simple que prévoir dans deux ans.

À mesure que l’horizon augmente, davantage d’événements peuvent modifier la trajectoire.

Illustration de l’incertitude

Schéma conceptuel, non issu d’un modèle calculé. Les bandes représentent une incertitude croissante.

Court terme
Plus étroit
Moyen terme
Plus large
Long terme
Très large

Ce principe est fréquent, mais n’est pas une loi absolue : l’incertitude dépend de la variable et du modèle.

30. Comprendre la dérive des modèles

La dérive apparaît lorsque les données ou les relations évoluent au point de dégrader la pertinence du modèle.

On distingue notamment :

  • La dérive des données : les caractéristiques des observations changent.
  • La dérive de concept : la relation entre les variables et la valeur à prévoir change.

Il faut surveiller régulièrement les erreurs et les changements dans les données.

31. Comprendre les prévisions probabilistes

Certains modèles produisent des probabilités plutôt qu’une valeur unique.

Exemple

Un modèle estime une probabilité de 70 % qu’un événement survienne.

Cela ne signifie pas que l’événement se produira nécessairement.

Les probabilités doivent être évaluées, notamment en vérifiant leur calibration.

Un modèle bien calibré annonçant souvent 70 % devrait observer l’événement environ 70 % du temps sur un ensemble approprié de cas comparables.

32. Ne pas confondre prévision et décision

Une prévision est une information. Une décision implique aussi des objectifs, des coûts, des contraintes et des risques.

Exemple

Un modèle prévoit une hausse des commandes.

L’entreprise doit encore vérifier ses capacités de stockage, ses fournisseurs, son budget et les conséquences d’une éventuelle surestimation.

33. Utiliser plusieurs scénarios

Lorsque l’incertitude est importante, il peut être utile de construire plusieurs scénarios.

Scénario Commandes estimées Usage
Faible demande 90 Étudier le risque de surstock.
Central 110 Préparer une hypothèse de référence.
Forte demande 135 Évaluer les besoins supplémentaires.

Ces chiffres sont fictifs. Ils illustrent une analyse par scénarios et ne constituent pas des probabilités calculées.

34. Utiliser l’IA générative avec prudence

Une IA conversationnelle peut aider à expliquer une méthode ou à rédiger une synthèse de prévisions.

Toutefois, une réponse textuelle ne constitue pas automatiquement une prévision statistiquement validée.

Erreur à éviter

Demander « Prévois mes ventes du mois prochain » sans fournir de données suffisantes, puis considérer le nombre obtenu comme un résultat fiable.

35. Formuler une demande rigoureuse à l’IA

Tu es analyste de données. Je souhaite étudier la possibilité de prévoir les ventes mensuelles. Avant de produire une prévision : 1. Examine la quantité et la qualité des données. 2. Vérifie les dates et les unités. 3. Recherche une tendance et une saisonnalité. 4. Signale les valeurs atypiques. 5. Propose une méthode simple de référence. 6. Décris une méthode de validation chronologique. 7. Précise les indicateurs d’erreur à utiliser. 8. Identifie les hypothèses nécessaires. 9. Explique les principales limites. Si les données sont insuffisantes, ne produis pas de prévision chiffrée présentée comme fiable. Sépare les faits, les hypothèses et les recommandations.

36. Demander à l’IA d’auditer un modèle

Analyse les résultats de ce modèle prédictif. Je fournirai : – Les dates. – Les valeurs réelles. – Les prévisions. – La méthode utilisée. – La période d’entraînement. – La période de test. Effectue les contrôles suivants : 1. Calcule les erreurs absolues. 2. Calcule la MAE. 3. Calcule la RMSE. 4. Calcule la MAPE si elle est pertinente. 5. Compare le modèle à une méthode naïve. 6. Recherche les erreurs systématiques. 7. Signale les valeurs atypiques. 8. Vérifie le respect de la chronologie. 9. Identifie les informations manquantes. Présente une conclusion nuancée. Ne déclare pas le modèle fiable sur la seule base de ces indicateurs.

37. Cas pratique complet — Évaluer une prévision de commandes

Situation

Une entreprise fictive utilise un modèle pour prévoir le nombre mensuel de commandes.

Les prévisions ci-dessous ont été produites avant de connaître les valeurs réelles. Les trois mois constituent une période d’évaluation non utilisée pour ajuster le modèle.

Étape A — Comparer réel et prévu

Mois Réel Prévu Erreur réelle – prévue Erreur absolue
Janvier 100 90 +10 10
Février 120 125 -5 5
Mars 110 100 +10 10

Étape B — Calculer la MAE

Erreurs absolues : 10 ; 5 ; 10 MAE = (10 + 5 + 10) / 3 MAE = 25 / 3 MAE ≈ 8,33 commandes

Le modèle se trompe en moyenne d’environ 8,33 commandes en valeur absolue sur cette période.

Étape C — Calculer la RMSE

Erreurs au carré : 10² = 100 (-5)² = 25 10² = 100 Somme = 225 MSE = 225 / 3 = 75 RMSE = √75 RMSE ≈ 8,66 commandes

La RMSE est légèrement supérieure à la MAE, car elle pénalise davantage les erreurs importantes.

Étape D — Calculer la MAPE

Janvier : 10 / 100 × 100 = 10 % Février : 5 / 120 × 100 ≈ 4,17 % Mars : 10 / 110 × 100 ≈ 9,09 % MAPE = (10 + 4,1667 + 9,0909) / 3 MAPE ≈ 7,75 %

Les valeurs réelles étant strictement positives, la MAPE est calculable sur cet exemple.

Étape E — Calculer l’erreur moyenne signée

Erreurs signées : +10 ; -5 ; +10 Moyenne = (10 – 5 + 10) / 3 = +5 commandes

Sur ces trois observations, le modèle a tendance à sous-estimer les commandes, selon la convention « réel moins prévu ».

Trois observations restent toutefois insuffisantes pour conclure à un biais durable.

Étape F — Comparer à une méthode naïve

Supposons que le nombre réel de commandes de décembre était de 95.

La méthode naïve prévoit chaque mois la dernière valeur réellement observée.

Mois Réel Prévision naïve Erreur absolue
Janvier 100 95 5
Février 120 100 20
Mars 110 120 10
MAE naïve = (5 + 20 + 10) / 3 = 35 / 3 ≈ 11,67 commandes

Étape G — Comparer les performances

Modèle prédictif

MAE : 8,33 commandes

Méthode naïve

MAE : 11,67 commandes

Sur cette période, le modèle prédictif obtient une erreur absolue moyenne inférieure à celle de la méthode naïve.

L’amélioration relative de MAE est d’environ :

(11,67 – 8,33) / 11,67 × 100 ≈ 28,6 %

Le calcul exact à partir des fractions non arrondies donne également environ 28,6 %.

Étape H — Interpréter sans exagérer

Conclusion correcte

Sur les trois mois évalués, le modèle présente une MAE d’environ 8,33 commandes, contre 11,67 pour la prévision naïve.

Il obtient donc de meilleurs résultats sur cet échantillon, mais celui-ci est trop limité pour établir sa fiabilité générale.

Étape I — Identifier les limites

  • Seulement trois mois d’évaluation.
  • Absence d’analyse saisonnière complète.
  • Pas de test sur plusieurs années.
  • Pas d’intervalle de prédiction validé.
  • Coût opérationnel des erreurs non étudié.
  • Possibilité de changement des conditions de marché.

Étape J — Décider des contrôles supplémentaires

Avant une utilisation opérationnelle, il serait pertinent de :

  1. Évaluer le modèle sur davantage de périodes.
  2. Réaliser plusieurs tests chronologiques.
  3. Comparer d’autres méthodes simples.
  4. Examiner les mois atypiques.
  5. Mesurer les conséquences d’une sous-estimation et d’une surestimation.
  6. Surveiller les erreurs après déploiement.
Résultat du cas pratique

Le modèle étudié est meilleur que la méthode naïve sur les trois mois observés. Cela constitue un résultat mesuré, mais pas une preuve de fiabilité pour toutes les périodes futures.

38. Calculer les erreurs dans Excel

Supposons le tableau suivant :

  • Colonne A : mois.
  • Colonne B : valeurs réelles.
  • Colonne C : prévisions.
  • Lignes 2 à 4 : janvier à mars.

Erreur signée

En D2 : =B2-C2

Erreur absolue

En E2 : =ABS(D2)

Erreur au carré

En F2 : =D2^2

Erreur absolue en pourcentage

En G2 : =SI(B2=0; » »;ABS(D2)/ABS(B2))

Recopier les formules jusqu’à la ligne 4. Formater G2:G4 en pourcentage.

MAE

=MOYENNE(E2:E4)

RMSE

=RACINE(MOYENNE(F2:F4))

MAPE

=MOYENNE(G2:G4)
Précaution

Si une valeur réelle est nulle, la formule proposée laisse la cellule de pourcentage vide. La moyenne ignore alors cette ligne. Le résultat ne représente plus une MAPE calculée sur l’ensemble des observations. Il faut le signaler explicitement et choisir une métrique adaptée.

39. Les erreurs fréquentes

  • Confondre une prévision avec un résultat certain.
  • Utiliser un historique trop court sans le signaler.
  • Ignorer les données manquantes.
  • Oublier les changements de contexte.
  • Confondre corrélation et causalité.
  • Évaluer un modèle uniquement sur son entraînement.
  • Mélanger données passées et futures.
  • Ignorer les risques de surapprentissage.
  • Ne pas comparer à une méthode simple.
  • Utiliser la MAPE avec des valeurs nulles.
  • Présenter un intervalle arbitraire comme statistiquement validé.
  • Considérer une prévision générée par un chatbot comme un modèle évalué.
  • Oublier de surveiller les performances après déploiement.
  • Prendre une décision importante sans examiner les conséquences des erreurs.

40. Méthode professionnelle en huit étapes

1
Définir la question

Préciser ce qui doit être prévu et à quelle échéance.

2
Examiner les données

Vérifier leur qualité, leur quantité et leur représentativité.

3
Construire une référence simple

Préparer une prévision naïve ou une autre méthode de base.

4
Choisir la méthode prédictive

Adapter sa complexité au besoin et aux données disponibles.

5
Valider chronologiquement

Éviter les fuites d’informations futures.

6
Mesurer les erreurs

Calculer des métriques adaptées et comparer les méthodes.

7
Communiquer l’incertitude

Présenter les limites, hypothèses et scénarios pertinents.

8
Surveiller et réévaluer

Contrôler les performances et adapter le modèle si nécessaire.

41. Vérifiez votre compréhension

Question 1 — Prévision

Une IA prévoit 500 commandes pour le mois prochain. Ce chiffre est-il garanti ?

Afficher la correction
Non. Il s’agit d’une estimation dépendant des données, de la méthode et des hypothèses. Le résultat réel peut être différent.
Question 2 — Surapprentissage

Un modèle est excellent sur les données d’entraînement, mais mauvais sur de nouvelles données. Quel problème peut-on suspecter ?

Afficher la correction
Un surapprentissage. Le modèle a pu trop s’adapter aux particularités des données d’entraînement.
Question 3 — MAE

Les erreurs absolues sont 4, 6 et 8. Quelle est la MAE ?

Afficher la correction
(4 + 6 + 8) / 3 = 6. La MAE est égale à 6 unités.
Question 4 — Fuite de données

Pourquoi ne faut-il pas utiliser une information future pour entraîner ou évaluer une prévision passée ?

Afficher la correction
Parce que cette information n’aurait pas été disponible au moment réel de la prévision. Elle peut fausser l’évaluation du modèle.
Question 5 — Comparaison

Un modèle obtient une MAE de 12 et une méthode naïve une MAE de 9 sur la même période. Quelle méthode est meilleure selon cette métrique ?

Afficher la correction
La méthode naïve, car sa MAE est plus faible. Il faut toutefois vérifier que les conditions de comparaison sont identiques et que la métrique correspond au besoin opérationnel.

42. Questions fréquentes

1. Qu’est-ce qu’une analyse prédictive ?

Une méthode utilisant des données pour estimer une valeur ou un événement inconnu.

2. L’IA peut-elle prédire l’avenir avec certitude ?

Non. Elle produit des estimations soumises à des incertitudes.

3. Pourquoi les données historiques sont-elles importantes ?

Elles permettent d’identifier des relations utiles, sans garantir qu’elles resteront valables.

4. Plus de données signifie-t-il toujours une meilleure prévision ?

Non. La qualité et la représentativité des données sont essentielles.

5. Qu’est-ce que le surapprentissage ?

Une adaptation excessive aux données d’entraînement qui peut dégrader les résultats sur de nouvelles observations.

6. Qu’est-ce que le sous-apprentissage ?

Une incapacité du modèle à représenter correctement les relations importantes.

7. Pourquoi respecter la chronologie ?

Pour éviter d’utiliser des informations futures indisponibles au moment de la prévision.

8. Qu’est-ce que le backtesting ?

Une évaluation simulant des prévisions à différentes dates passées.

9. Qu’est-ce que la MAE ?

La moyenne des erreurs absolues entre valeurs réelles et prévues.

10. Qu’est-ce que la RMSE ?

La racine de l’erreur quadratique moyenne, qui pénalise davantage les grandes erreurs.

11. Qu’est-ce que la MAPE ?

Une mesure de l’erreur absolue moyenne exprimée en pourcentage des valeurs réelles.

12. Pourquoi la MAPE pose-t-elle problème avec zéro ?

Parce que le calcul nécessite une division par la valeur réelle.

13. Qu’est-ce qu’une prévision naïve ?

Une méthode simple servant souvent de référence, comme reprendre la dernière valeur observée.

14. Qu’est-ce qu’un intervalle de prédiction ?

Un intervalle construit pour quantifier l’incertitude sur une future observation.

15. Une probabilité de 80 % garantit-elle un événement ?

Non. Elle exprime une estimation probabiliste, dont la qualité doit être évaluée.

16. Pourquoi la saisonnalité compte-t-elle ?

Parce que certaines variations se répètent selon le calendrier et peuvent influencer les prévisions.

17. Qu’est-ce qu’une fuite de données ?

L’utilisation d’informations qui ne devraient pas être disponibles lors de la prédiction.

18. Qu’est-ce que la dérive d’un modèle ?

Une évolution des données ou des relations qui peut dégrader ses performances.

19. Un chatbot peut-il remplacer un modèle statistique validé ?

Non. Une réponse générée ne démontre pas à elle seule une capacité prédictive mesurée.

20. Quelle est la meilleure façon d’utiliser une prévision ?

La confronter à des données fiables, mesurer ses erreurs, présenter l’incertitude et intégrer le contexte avant de décider.

43. Glossaire — 25 termes essentiels

TermeDéfinition
1. Analyse prédictiveUtilisation de données et de méthodes pour estimer une valeur ou un événement inconnu.
2. PrévisionEstimation d’une valeur future.
3. Modèle prédictifMéthode produisant une estimation à partir de variables.
4. Variable cibleValeur ou événement que le modèle cherche à prédire.
5. Variable explicativeInformation utilisée pour produire une prédiction.
6. Données historiquesObservations recueillies dans le passé.
7. GénéralisationCapacité d’un modèle à fonctionner sur de nouvelles données.
8. BiaisDéformation systématique pouvant affecter données ou résultats.
9. BruitVariations non représentatives d’une relation stable exploitable.
10. SurapprentissageAdaptation excessive aux données d’entraînement.
11. Sous-apprentissageModélisation insuffisante des relations importantes.
12. EntraînementÉtape d’ajustement d’un modèle à partir de données.
13. ValidationÉvaluation utilisée pour sélectionner ou ajuster un modèle.
14. Jeu de testDonnées tenues à l’écart pour une évaluation finale.
15. BacktestingÉvaluation reproduisant des prévisions historiques.
16. Fuite de donnéesUtilisation indue d’informations indisponibles lors de la prédiction.
17. Erreur absolueValeur absolue de l’écart entre réel et prévu.
18. MAEErreur absolue moyenne.
19. RMSERacine de l’erreur quadratique moyenne.
20. MAPEErreur absolue moyenne en pourcentage.
21. Prévision naïveMéthode simple servant de référence.
22. Intervalle de prédictionIntervalle exprimant l’incertitude sur une future observation.
23. SaisonnalitéVariation récurrente liée au calendrier.
24. Dérive de modèleDégradation potentielle liée à l’évolution des données ou relations.
25. CalibrationAdéquation entre les probabilités annoncées et les fréquences observées.

44. Ressources pour approfondir

À retenir

  • Une prévision est une estimation, jamais une certitude.
  • La qualité et la représentativité des données sont essentielles.
  • Les relations passées peuvent changer.
  • La saisonnalité, les ruptures et les valeurs atypiques influencent les résultats.
  • Le surapprentissage peut masquer une mauvaise généralisation.
  • La validation doit respecter la disponibilité réelle des informations.
  • Les erreurs se mesurent avec des indicateurs comme la MAE et la RMSE.
  • Un modèle doit être comparé à une méthode simple.
  • L’incertitude doit être communiquée explicitement.
  • Une IA générative ne remplace pas une évaluation statistique.
  • Les performances doivent être surveillées après déploiement.
  • La décision finale doit intégrer le contexte et les conséquences des erreurs.
Prochain cours — 13 Cas pratique : analyser les résultats d’une activité →

Mobilisez les compétences du chapitre pour préparer des données, calculer des indicateurs, produire des graphiques et présenter une analyse contrôlée.

Mise en pratique

Entraînez-vous sur ce cours

Évaluez des prévisions, calculez leurs erreurs, repérez les biais et identifiez les limites des modèles prédictifs.

15 exercices par cours Progression pédagogique Corrections détaillées
Accéder aux exercices →

Exercices du cours

Entraînez-vous avec 15 exercices progressifs. Ouvrez un exercice pour répondre, puis afficher sa correction.