Measured Academy Measured Academy
English Pilote Progression 0

Module 2 · Leçon 3 sur 4

Mauvaise réponse ou mauvais format

  1. Ce qui s’est passéNoter de nouveau les mêmes retours après avoir retiré tout ce qui n’est pas une lettre a fait grimper la note de la chaîne et laissé un seul billet encore faux.
  2. Pourquoi ça a changéLa plupart des ratés étaient la bonne file au mauvais format ; un seul était une autre file, une décision d’acheminement que la chaîne a mal prise.
  3. Comment on le mesureDeux notes sur les mêmes retours, exacte et lettres seulement, plus le nombre de retours qui ne sont pas l’une des valeurs permises.
  4. Comment l’améliorerRapporter les deux notes, corriger le format à la frontière, et ne consacrer d’effort de requête qu’aux ratés qui survivent à la normalisation.
Pas à pas

Un billet à travers la chaîne

Essayez. Choisissez un billet et parcourez les trois appels de la chaîne pour voir ce que chacun a reçu et ce qu’il a transmis.

D’où viennent ces données · claude-opus-4-6, 2026-09-07; claude-opus-5, 2026-11-20

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch2-collapse-2026-09-07.jsonl
  • runs/ch2-course-collapse-2026-11-20.jsonl

Ce qui s’est passé

Prenez les retours de la chaîne de la leçon 2 et notez-les une deuxième fois, après avoir retiré tout ce qui n’est pas une lettre.

Notation Chaîne, exécution du livre Appel unique, exécution du livre Chaîne, exécution du cours Appel unique, exécution du cours
Correspondance exacte 4 sur 10 10 sur 10 8 sur 10 10 sur 10
Lettres seulement 9 sur 10 10 sur 10 9 sur 10 10 sur 10

Sources : runs/ch2-collapse-2026-09-07.txt (claude-opus-4-6) et runs/ch2-course-collapse-2026-11-20.txt (claude-opus-5). Dans l’exécution du livre, la plupart des ratés de la chaîne disparaissent et un seul reste : pour le billet sur un bouton d’exportation qui tourne sans fin et ne télécharge rien, la chaîne a choisi une autre file que le corrigé, et aucune quantité d’astérisques retirés n’en fera la bonne.

Le modèle actuel montre la même division avec d’autres billets. Son unique raté de format était le billet 3, la bonne file enrobée d’accents graves. Son raté de décision était le billet 10, l’équipe qui ne voit pas un dossier partagé : la chaîne a dit auth, le corrigé dit general, et l’appel unique a concordé avec le corrigé.

La note unique mise en vedette à la leçon 2 cachait donc deux problèmes différents.

Pourquoi ça a changé

Les ratés de format. La file était la bonne et elle est arrivée décorée. C’est la règle empirique du module 1, la forme dérive avant le contenu, qui se manifeste une étape plus loin. Le remède se trouve à la frontière de votre code, pas dans la requête.

Un raté de décision. Parcourez ce billet dans la visionneuse ci-dessus. Le premier appel de la chaîne a résumé le billet, le deuxième a proposé des files candidates à partir du résumé, et le troisième a choisi parmi les candidates. Chaque appel voyait moins du billet d’origine que le précédent. L’appel unique voyait le billet lui-même et une définition de chaque file.

Ces problèmes demandent des corrections différentes ; c’est pourquoi ils demandent des nombres différents. Remarquez que le modèle récent a réglé de lui-même la plus grande partie du problème de format et rien du problème de décision. Une mise à niveau du modèle a fait bouger le premier nombre, pas le second.

Comment on le mesure

Trois mesures sur un même ensemble de retours :

  1. La note exacte. Ce que vit un appelant aujourd’hui.
  2. La note lettres seulement. Ce que le modèle a décidé, format mis à part.
  3. Les retours hors de l’ensemble permis. Dans l’exécution du livre, 6 sur 10 pour la chaîne et 0 sur 10 pour l’appel unique ; dans l’exécution du cours sur le modèle actuel, 1 sur 10 et 0 sur 10. Chacun d’eux lève une KeyError chez un appelant qui utilise le retour pour trouver un gestionnaire.

L’écart entre les deux premières notes est votre problème de format. Ce qui reste sous la deuxième est votre problème de décision. Rapportez les deux, avec le nombre de billets, chaque fois.

Une mise en garde sur la deuxième note : retirer les caractères autres que des lettres est un outil de diagnostic, pas une correction à livrer. Ça « réparerait » aussi un retour comme une phrase qui se termine par un nom de file, par hasard ou pas du tout.

Comment l’améliorer

Ce que montrent les deux notes Où est le problème Premier geste
Exacte basse, lettres seulement haute Format Contraignez le type de retour (module 3) ; d’ici là, validez par rapport à l’ensemble permis et échouez bruyamment
Les deux basses Décision Regardez ce que l’appel qui décide a réellement reçu ; raccourcissez la chaîne ou définissez les options
Les deux hautes Ni l’un ni l’autre, sur cet échantillon Ajoutez des billets plus difficiles avant de vous y fier

Et pour les billets discutables : quand votre corrigé et le modèle ne s’entendent pas, relisez le billet avant de blâmer l’un ou l’autre. Le corrigé est un jugement. L’auteur du livre a signalé un billet comme celui qu’un lecteur risquait le plus de contester.

Le correcteur est imprimé au chapitre 2 du livre. Suite : ajoutez-le après qu’il a brisé deux fois.

Chaque nombre de cette leçon et le fichier d’où il vient (12)
ValeurFichier dans les enregistrements du livreConditions
4 sur 10runs/ch2-collapse-2026-09-07.txtclaude-opus-4-6, 2026-09-07, la clé de l’auteur
10 sur 10runs/ch2-collapse-2026-09-07.txtclaude-opus-4-6, 2026-09-07, la clé de l’auteur
8 sur 10runs/ch2-course-collapse-2026-11-20.txtclaude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur
10 sur 10runs/ch2-course-collapse-2026-11-20.txtclaude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur
9 sur 10runs/ch2-collapse-2026-09-07.txt
10 sur 10runs/ch2-collapse-2026-09-07.txt
9 sur 10runs/ch2-course-collapse-2026-11-20.txt
10 sur 10runs/ch2-course-collapse-2026-11-20.txt
6 sur 10runs/ch2-collapse-2026-09-07.txt
0 sur 10runs/ch2-collapse-2026-09-07.txt
1 sur 10runs/ch2-course-collapse-2026-11-20.txt
0 sur 10runs/ch2-course-collapse-2026-11-20.txt

Référence : Chapitre 2, « Edge cases » et le tableau de résultats de l’exercice.