Mise en situation Exercice 8 / 15

Analyser une saturation — Exercice 08

Situation

Pendant une longue conversation, la mémoire augmente. Quel composant du modèle peut y contribuer ?

Travail demandé

Présentez une réponse justifiée et indiquez un contrôle concret permettant de la valider.

Voir la correction

Réponse attendue : Le cache KV associé au contexte.

Étape 1 — Analyser la situation

La situation porte sur gpu, ram et vram. Il faut répondre à la demande précise sans supposer de données supplémentaires.

Étape 2 — Résoudre

Le cache KV associé au contexte.

Étape 3 — Justifier

Les tokens de contexte peuvent accroître la mémoire requise.

Étape 4 — Contrôler et interpréter

Confrontez la proposition aux données de l’énoncé, aux contraintes techniques indiquées et aux limites du modèle ou du logiciel. Vérifiez le résultat sur un exemple reproductible avant de l’utiliser.

📘 Revoir le cours : Découvrir les GPU, la RAM et la VRAM