Measured Academy Measured Academy
English Pilote Progression 0

Module 1 · Leçon 3 sur 4

Les chaînes varient, le sens tient

  1. Ce qui s’est passéLes réponses distinctes de l’exécution enregistrée diffèrent par la formulation et s’accordent sur ce qu’il faut vérifier en premier.
  2. Pourquoi ça a changéL’échantillonnage choisit entre des formulations presque équivalentes bien plus souvent qu’entre des idées différentes ; la forme dérive donc avant le contenu.
  3. Comment on le mesureLire les réponses distinctes côte à côte et marquer les mots qui diffèrent ; compter les chaînes et compter les sens comme deux nombres séparés.
  4. Comment l’améliorerComparer selon la propriété dont vous avez besoin, normaliser avant de comparer, et contraindre la forme de la sortie là où votre code en dépend.
Côte à côte

Deux réponses, mot à mot

Essayez. Choisissez deux des réponses enregistrées. Comparez-les d’abord comme chaînes, puis selon le sens, et décidez vous-même si elles vous feraient vérifier la même chose.

D’où viennent ces données · claude-opus-4-6 · 2026-09-07

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch1-sampling-2026-09-07.jsonl

Ce qui s’est passé

Ouvrez les réponses en échantillonnage par défaut de l’exécution enregistrée et lisez-les, au lieu de seulement les compter. Le fichier contient 10 sur 20 chaînes distinctes. Placez-en deux dans l’outil de comparaison ci-dessus.

Ce qui diffère est mince : « order or contract » dans l’une et « order or agreement » dans une autre, « prices » contre « unit prices », une proposition ajoutée à la fin pour demander plus de détails au client. Ce qu’elles vous disent de faire en premier ne diffère pas. Chacune dit de placer les lignes de la facture, les quantités et les prix à côté de la commande d’origine et de chercher l’écart.

Ce fichier contient donc deux décomptes, et un seul a été calculé pour vous :

Décompte Valeur Qui l’a calculé
Chaînes distinctes 10 sur 20 Le banc d’essai (runs/ch1-sampling-2026-09-07.txt)
Sens distincts À vous d’en juger en lisant Vous

Pourquoi ça a changé

Quand un modèle poursuit une phrase, beaucoup de suites sont presque aussi probables les unes que les autres et veulent dire la même chose. Un tirage tombe sur l’une d’elles. Choisir une idée complètement différente est un tirage bien plus rare avec une requête aussi simple.

On en tire une règle empirique utile pour savoir où les problèmes apparaîtront d’abord : la forme dérive avant le contenu. La formulation, la ponctuation, la casse, une paire d’astérisques autour d’un mot. C’est exactement ce que vous verrez au module 2, où le bon nom de file arrive enrobé de Markdown.

C’est une règle empirique tirée de ces exécutions, pas une loi. Avec une requête plus difficile ou plus ambiguë, le sens peut se diviser lui aussi, et c’est pour ça qu’on lit les réponses.

Comment on le mesure

Compter les chaînes est peu coûteux et automatique, alors ça vient en premier. Compter les sens demande une lecture humaine, ou un évaluateur auquel vous faites confiance ; décidez donc de la quantité dont vous avez besoin :

  • Lisez un échantillon. Dix réponses suffisent pour voir si deux d’entre elles vous feraient faire des choses différentes. C’est la deuxième question de réflexion du test pratique.
  • Normalisez, puis recomptez. Retirez la casse, les espaces et la ponctuation, hachez de nouveau, et voyez de combien le décompte baisse. L’écart entre les deux décomptes indique quelle part de la variation tenait à la forme.
  • Vérifiez une propriété. Si ce qu’il vous faut, c’est « la réponse est l’un de quatre noms de file », testez exactement ça, et rapportez combien d’appels ont réussi.

Chacune de ces méthodes donne un taux sur un nombre d’appels connu. Aucune ne donne un oui ou un non.

Comment l’améliorer

Symptôme dans votre système Cause probable Premier geste
Un test qui réussit sur certaines exécutions et échoue sur d’autres Il compare des chaînes Remplacez l’assertion par une vérification de propriété et exécutez-la plusieurs fois
Une recherche indexée sur la réponse lève une exception sur certaines réponses La forme de la réponse a dérivé Normalisez avant la recherche, puis contraignez la sortie (module 3)
Deux réviseurs ne s’entendent pas sur la justesse d’une réponse « Juste » n’a jamais été écrit noir sur blanc Écrivez d’abord la propriété, puis évaluez par rapport à elle (module 10)

Les systèmes qui ont l’air capricieux ici comparent généralement des chaînes là où ils voulaient comparer un sens. La correction se fait dans la comparaison, pas dans le modèle.

Le chapitre montre la même défaillance en code, avec un routeur dont la valeur de retour sert de clé de dictionnaire : chapitre 1 du livre, « Before / After ». Suite : prédire, exécuter, comparer.

Chaque nombre de cette leçon et le fichier d’où il vient (1)
ValeurFichier dans les enregistrements du livreConditions
10 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07

Référence : Chapitre 1, « Before / After » et « Edge cases » (dérive de format).