Module 2 · Leçon 3 sur 4
Mauvaise réponse ou mauvais format
- Ce qui s’est passéNoter de nouveau les mêmes retours après avoir retiré tout ce qui n’est pas une lettre a fait grimper la note de la chaîne et laissé un seul billet encore faux.
- Pourquoi ça a changéLa plupart des ratés étaient la bonne file au mauvais format ; un seul était une autre file, une décision d’acheminement que la chaîne a mal prise.
- Comment on le mesureDeux notes sur les mêmes retours, exacte et lettres seulement, plus le nombre de retours qui ne sont pas l’une des valeurs permises.
- Comment l’améliorerRapporter les deux notes, corriger le format à la frontière, et ne consacrer d’effort de requête qu’aux ratés qui survivent à la normalisation.
Un billet à travers la chaîne
Essayez. Choisissez un billet et parcourez les trois appels de la chaîne pour voir ce que chacun a reçu et ce qu’il a transmis.
D’où viennent ces données · claude-opus-4-6, 2026-09-07; claude-opus-5, 2026-11-20
Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.
runs/ch2-collapse-2026-09-07.jsonlruns/ch2-course-collapse-2026-11-20.jsonl
Ce qui s’est passé
Prenez les retours de la chaîne de la leçon 2 et notez-les une deuxième fois, après avoir retiré tout ce qui n’est pas une lettre.
| Notation | Chaîne, exécution du livre | Appel unique, exécution du livre | Chaîne, exécution du cours | Appel unique, exécution du cours |
|---|---|---|---|---|
| Correspondance exacte | 4 sur 10 | 10 sur 10 | 8 sur 10 | 10 sur 10 |
| Lettres seulement | 9 sur 10 | 10 sur 10 | 9 sur 10 | 10 sur 10 |
Sources : runs/ch2-collapse-2026-09-07.txt (claude-opus-4-6) et runs/ch2-course-collapse-2026-11-20.txt (claude-opus-5). Dans l’exécution du livre, la plupart des ratés de la chaîne disparaissent et un seul reste : pour le billet sur un bouton d’exportation qui tourne sans fin et ne télécharge rien, la chaîne a choisi une autre file que le corrigé, et aucune quantité d’astérisques retirés n’en fera la bonne.
Le modèle actuel montre la même division avec d’autres billets. Son unique raté de format était le billet 3, la bonne file enrobée d’accents graves. Son raté de décision était le billet 10, l’équipe qui ne voit pas un dossier partagé : la chaîne a dit auth, le corrigé dit general, et l’appel unique a concordé avec le corrigé.
La note unique mise en vedette à la leçon 2 cachait donc deux problèmes différents.
Pourquoi ça a changé
Les ratés de format. La file était la bonne et elle est arrivée décorée. C’est la règle empirique du module 1, la forme dérive avant le contenu, qui se manifeste une étape plus loin. Le remède se trouve à la frontière de votre code, pas dans la requête.
Un raté de décision. Parcourez ce billet dans la visionneuse ci-dessus. Le premier appel de la chaîne a résumé le billet, le deuxième a proposé des files candidates à partir du résumé, et le troisième a choisi parmi les candidates. Chaque appel voyait moins du billet d’origine que le précédent. L’appel unique voyait le billet lui-même et une définition de chaque file.
Ces problèmes demandent des corrections différentes ; c’est pourquoi ils demandent des nombres différents. Remarquez que le modèle récent a réglé de lui-même la plus grande partie du problème de format et rien du problème de décision. Une mise à niveau du modèle a fait bouger le premier nombre, pas le second.
Comment on le mesure
Trois mesures sur un même ensemble de retours :
- La note exacte. Ce que vit un appelant aujourd’hui.
- La note lettres seulement. Ce que le modèle a décidé, format mis à part.
- Les retours hors de l’ensemble permis. Dans l’exécution du livre, 6 sur 10 pour la chaîne et 0 sur 10 pour l’appel unique ; dans l’exécution du cours sur le modèle actuel, 1 sur 10 et 0 sur 10. Chacun d’eux lève une
KeyErrorchez un appelant qui utilise le retour pour trouver un gestionnaire.
L’écart entre les deux premières notes est votre problème de format. Ce qui reste sous la deuxième est votre problème de décision. Rapportez les deux, avec le nombre de billets, chaque fois.
Une mise en garde sur la deuxième note : retirer les caractères autres que des lettres est un outil de diagnostic, pas une correction à livrer. Ça « réparerait » aussi un retour comme une phrase qui se termine par un nom de file, par hasard ou pas du tout.
Comment l’améliorer
| Ce que montrent les deux notes | Où est le problème | Premier geste |
|---|---|---|
| Exacte basse, lettres seulement haute | Format | Contraignez le type de retour (module 3) ; d’ici là, validez par rapport à l’ensemble permis et échouez bruyamment |
| Les deux basses | Décision | Regardez ce que l’appel qui décide a réellement reçu ; raccourcissez la chaîne ou définissez les options |
| Les deux hautes | Ni l’un ni l’autre, sur cet échantillon | Ajoutez des billets plus difficiles avant de vous y fier |
Et pour les billets discutables : quand votre corrigé et le modèle ne s’entendent pas, relisez le billet avant de blâmer l’un ou l’autre. Le corrigé est un jugement. L’auteur du livre a signalé un billet comme celui qu’un lecteur risquait le plus de contester.
Le correcteur est imprimé au chapitre 2 du livre. Suite : ajoutez-le après qu’il a brisé deux fois.
Chaque nombre de cette leçon et le fichier d’où il vient (12)
| Valeur | Fichier dans les enregistrements du livre | Conditions |
|---|---|---|
| 4 sur 10 | runs/ch2-collapse-2026-09-07.txt | claude-opus-4-6, 2026-09-07, la clé de l’auteur |
| 10 sur 10 | runs/ch2-collapse-2026-09-07.txt | claude-opus-4-6, 2026-09-07, la clé de l’auteur |
| 8 sur 10 | runs/ch2-course-collapse-2026-11-20.txt | claude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur |
| 10 sur 10 | runs/ch2-course-collapse-2026-11-20.txt | claude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur |
| 9 sur 10 | runs/ch2-collapse-2026-09-07.txt | |
| 10 sur 10 | runs/ch2-collapse-2026-09-07.txt | |
| 9 sur 10 | runs/ch2-course-collapse-2026-11-20.txt | |
| 10 sur 10 | runs/ch2-course-collapse-2026-11-20.txt | |
| 6 sur 10 | runs/ch2-collapse-2026-09-07.txt | |
| 0 sur 10 | runs/ch2-collapse-2026-09-07.txt | |
| 1 sur 10 | runs/ch2-course-collapse-2026-11-20.txt | |
| 0 sur 10 | runs/ch2-course-collapse-2026-11-20.txt |
Référence : Chapitre 2, « Edge cases » et le tableau de résultats de l’exercice.