Mise en situation Exercice 8 / 15
Analyser une saturation — Exercice 08
Situation
Pendant une longue conversation, la mémoire augmente. Quel composant du modèle peut y contribuer ?
Travail demandé
Présentez une réponse justifiée et indiquez un contrôle concret permettant de la valider.
Voir la correction
Réponse attendue : Le cache KV associé au contexte.
Étape 1 — Analyser la situation
La situation porte sur gpu, ram et vram. Il faut répondre à la demande précise sans supposer de données supplémentaires.
Étape 2 — Résoudre
Le cache KV associé au contexte.
Étape 3 — Justifier
Les tokens de contexte peuvent accroître la mémoire requise.
Étape 4 — Contrôler et interpréter
Confrontez la proposition aux données de l’énoncé, aux contraintes techniques indiquées et aux limites du modèle ou du logiciel. Vérifiez le résultat sur un exemple reproductible avant de l’utiliser.
