Measured Academy Measured Academy
English Pilote Progression 0

Module 2 · Leçon 2 sur 4

La chaîne qui a perdu contre un seul appel

  1. Ce qui s’est passéUne chaîne d’acheminement en trois appels a concordé avec le corrigé sur moins de billets qu’un appel unique, tout en faisant trois fois plus d’appels.
  2. Pourquoi ça a changéChaque appel supplémentaire passait du texte libre au suivant, et la dernière étape renvoyait des noms de file enrobés de Markdown qu’une comparaison exacte rejette.
  3. Comment on le mesureLes deux versions tournent sur les mêmes billets, face à un corrigé écrit avant l’exécution, notées par correspondance exacte, avec les appels et les jetons journalisés à chaque étape.
  4. Comment l’améliorerCommencer par un seul appel qui nomme chaque option et demande un seul mot ; n’ajouter une étape que lorsqu’un échec mesuré l’exige.
Côte à côte

Billet par billet, la chaîne face à l’appel unique

Essayez. Choisissez un billet, ou regardez les dix, et faites passer la notation de la correspondance exacte aux lettres seulement.

D’où viennent ces données · claude-opus-4-6, 2026-09-07; claude-opus-5, 2026-11-20

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch2-collapse-2026-09-07.jsonl
  • runs/ch2-collapse-2026-09-07.txt
  • runs/ch2-course-collapse-2026-11-20.jsonl
  • runs/ch2-course-collapse-2026-11-20.txt

Ce qui s’est passé

Les mêmes 10 billets de soutien ont été acheminés de deux façons vers l’une de quatre files, sur claude-opus-4-6, le 2026-09-07.

La chaîne faisait trois appels par billet : résumer le billet, énumérer les files qui pourraient s’en charger, en choisir une. L’appel unique en faisait un seul : voici les quatre files et ce dont chacune s’occupe, répondez par un seul mot.

Chaîne, exécution du livre Appel unique, exécution du livre Chaîne, exécution du cours Appel unique, exécution du cours
Modèle claude-opus-4-6 claude-opus-4-6 claude-opus-5 claude-opus-5
Appels 30 10 30 10
Correspondance exacte avec le corrigé 4 sur 10 10 sur 10 8 sur 10 10 sur 10
Retours qui n’étaient pas un nom de file 6 sur 10 0 sur 10 1 sur 10 0 sur 10

Sources : runs/ch2-collapse-2026-09-07.txt pour l’exécution du livre, et runs/ch2-course-collapse-2026-11-20.txt pour l’exécution du même exercice par le cours sur un modèle actuel, faite le 2026-11-20 avec le banc d’essai du cours. Sur les deux modèles, la conception à plus d’étapes a obtenu une moins bonne note et fait trois fois plus d’appels. Utilisez la bascule « Exécution enregistrée » au-dessus de la comparaison pour passer de l’une à l’autre.

BOOK.md consigne deux essais ce jour-là, la chaîne obtenant 5 sur 10 lors de l’autre. Seul l’essai ci-dessus a un fichier dans runs/ ; c’est donc celui que montre cette leçon. La note de la chaîne a bougé d’un essai à l’autre ; celle de l’appel unique, non.

Pourquoi ça a changé

Parcourez un billet dans la comparaison ci-dessus et regardez ce que le dernier appel de la chaîne a renvoyé. Pour la plupart des billets ratés, la file était la bonne et le format, non : le nom revenait en gras, entouré d’astérisques.

C’est arrivé à cause de ce que chaque appel recevait. L’appel unique recevait le billet et une consigne serrée. Le dernier appel de la chaîne recevait un paragraphe de prose du modèle lui-même énumérant des files candidates, mis en forme comme les modèles aiment mettre en forme les listes, et il a reproduit ce style.

La répartition des jetons raconte la même histoire, plus fort encore sur le modèle récent :

Étape, jetons de sortie sur 10 appels Exécution du livre, claude-opus-4-6 Exécution du cours, claude-opus-5
Chaîne, résumer 219 1,753
Chaîne, énumérer les candidates 488 6,969
Chaîne, choisir 52 141
Appel unique 40 195

L’étape du milieu a écrit le plus de texte sur les deux modèles, et tout ce texte est devenu l’entrée de l’étape qui devait ensuite produire un seul mot. Sur le modèle actuel, qui réfléchit avant de répondre, 3,369 des jetons de sortie de l’exécution étaient de la réflexion (runs/ch2-course-collapse-2026-11-20.txt).

Ce qui a changé d’un modèle à l’autre, c’est le format, pas la forme. Le modèle récent n’a enrobé un nom de file qu’une seule fois ; la note exacte de la chaîne a donc monté. Elle a quand même perdu contre l’appel unique, et le billet qu’elle a raté était une erreur de décision, pas de format : la leçon 3 le décortique.

Comment on le mesure

Quatre éléments rendent cette comparaison équitable, et vous allez reproduire chacun :

  • Les mêmes billets pour les deux versions.
  • Un corrigé écrit d’abord. Le corrigé est un jugement, une file par billet avec une raison, écrit avant même la première exécution de l’appel unique. Le vôtre peut différer sur un billet ou deux, et c’est normal.
  • La correspondance exacte. Le retour, épuré et mis en minuscules, est égal au corrigé ou ne l’est pas. C’est ce que vivrait un appelant qui utilise le retour comme clé de dictionnaire.
  • La consommation par appel. Chaque appel journalise son étape, ses jetons d’entrée et ses jetons de sortie.
Exécution complète Exécution du livre, claude-opus-4-6 Exécution du cours, claude-opus-5
Appels 40 40
Jetons d’entrée 2,599 8,142
Jetons de sortie 799 9,058
Coût $0.03 (COST.md) $0.27 (BOOK.md, constats mesurés)

Les mêmes quarante appels coûtent plusieurs fois plus cher sur le modèle récent, presque entièrement à cause de la sortie écrite par l’étape du milieu de la chaîne.

Un seul échantillon de chaque version ne fait pas un taux. La leçon rapporte ce qu’a donné un essai enregistré sur chaque modèle.

Comment l’améliorer

  • Écrivez d’abord l’appel unique. Nommez chaque option, dites de quoi elle s’occupe, demandez un seul mot. Mesurez-le avant d’ajouter quoi que ce soit.
  • N’ajoutez une étape que pour une raison mesurée. « Ça aiderait peut-être de résumer d’abord » est une supposition. Un billet que l’appel unique rate deux fois est une raison.
  • Si vous gardez une chaîne, resserrez les passages de relais. Chaque appel intermédiaire devrait renvoyer la plus petite chose dont le suivant a besoin.
  • Contraignez la forme finale. Le module 3 remplace « répondez par un seul mot » par un retour typé qui ne peut pas être un nom de file en gras.

La chaîne et les billets sont imprimés au chapitre 2 du livre, « Hands-on exercise ». Suite : mauvaise réponse ou mauvais format.

Chaque nombre de cette leçon et le fichier d’où il vient (28)
ValeurFichier dans les enregistrements du livreConditions
10runs/ch2-collapse-2026-09-07.txt
30runs/ch2-collapse-2026-09-07.txt
10runs/ch2-collapse-2026-09-07.txt
4 sur 10runs/ch2-collapse-2026-09-07.txtclaude-opus-4-6, 2026-09-07, la clé de l’auteur
10 sur 10runs/ch2-collapse-2026-09-07.txtclaude-opus-4-6, 2026-09-07, la clé de l’auteur
8 sur 10runs/ch2-course-collapse-2026-11-20.txtclaude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur
10 sur 10runs/ch2-course-collapse-2026-11-20.txtclaude-opus-5, 2026-11-20, une exécution, prédictions faites par un agent travaillant pour l’auteur
6 sur 10runs/ch2-collapse-2026-09-07.txt
0 sur 10runs/ch2-collapse-2026-09-07.txt
1 sur 10runs/ch2-course-collapse-2026-11-20.txt
0 sur 10runs/ch2-course-collapse-2026-11-20.txt
5 sur 10BOOK.mdl’autre des deux essais du 2026-09-07 ; un seul essai a un fichier dans runs/
219runs/ch2-collapse-2026-09-07.txt
1,753runs/ch2-course-collapse-2026-11-20.txt
488runs/ch2-collapse-2026-09-07.txt
6,969runs/ch2-course-collapse-2026-11-20.txt
52runs/ch2-collapse-2026-09-07.txt
141runs/ch2-course-collapse-2026-11-20.txt
40runs/ch2-collapse-2026-09-07.txt
195runs/ch2-course-collapse-2026-11-20.txt
3,369runs/ch2-course-collapse-2026-11-20.txt
40runs/ch2-collapse-2026-09-07.txt
2,599runs/ch2-collapse-2026-09-07.txt
8,142runs/ch2-course-collapse-2026-11-20.txt
799runs/ch2-collapse-2026-09-07.txt
9,058runs/ch2-course-collapse-2026-11-20.txt
$0.03COST.mdclaude-opus-4-6, tarifs Opus de COST.md
$0.27BOOK.mdclaude-opus-5, 2026-11-20, tarifs Opus de COST.md

Référence : Chapitre 2, « Before / After » et « Hands-on exercise - collapse the chain ».