intermediaire Exercice 4 / 15
Comprendre les tokens et la tokenisation — Exercice 04
Un message contient de nombreux identifiants de commande alphanumériques. Quel effet possible sur le nombre de tokens ?
Voir la correction
Il peut augmenter par rapport à un texte courant de longueur comparable.
Correction détaillée
Réponse attendue
Il peut augmenter par rapport à un texte courant de longueur comparable.
Comprendre le raisonnement
Les suites rares ou particulières sont souvent découpées en davantage d’unités.
À retenir / vérifier
Mesurer plutôt que supposer.
📘 Revoir le cours : Comprendre les tokens et la tokenisation