Module 4 · Leçon 2 sur 4
Deux sorties et un plafond
- Ce qui s’est passéLe plafond d’étapes ne s’est jamais déclenché sur les six questions, la plus longue s’en est approchée à une étape près, et le banc d’essai qui a produit le tableau aurait caché un plafond atteint parce qu’il n’avait aucun raise.
- Pourquoi ça a changéLa boucle se termine soit quand le modèle cesse de demander des outils, soit quand votre compteur s’épuise, et seule la deuxième sortie est sous votre contrôle ; un plafond qui renvoie sans rien dire transforme un processus tronqué en réponse d’apparence normale.
- Comment on le mesureLes étapes par requête sont consignées et comparées au plafond, et chaque exécution est étiquetée avec la sortie qu’elle a prise.
- Comment l’améliorerÉcrire le plafond comme un nombre accompagné d’une raison, lever une exception quand il est atteint, traiter chaque raison d’arrêt par son nom, et fixer le nombre à partir des nombres d’étapes enregistrés plutôt qu’au jugé.
Rejouer l’exécution enregistrée avec un autre plafond
Essayez. Abaissez le plafond d’étapes et regardez quelles questions sont coupées. Passez ensuite de « Lever une exception au plafond » à « Renvoyer sans rien dire ».
D’où viennent ces données · claude-opus-4-6, 2026-08-28, une exécution; claude-opus-5, 2026-11-20, l’exécution réussie du cours
Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.
BOOK.md Measured findings, rows "Ch 4 exercise, steps per prompt" and "Ch 4 cap headroom"runs/ch4-course-agent-2026-11-20-run3.jsonl
Ce qui s’est passé
La boucle de l’agent avait droit à au plus 5 étapes par question. Sur les six questions, elle n’a jamais atteint cette limite. Dans l’exécution du livre, la plus longue requête légitime en a utilisé 4 (BOOK.md, constats mesurés, la ligne sur la marge sous le plafond) ; dans l’exécution réussie du cours sur claude-opus-5, la marge était de 2 étapes (runs/ch4-course-check-2026-11-20-run3.txt).
Un nombre choisi au jugé avait donc une étape de marge sur l’ancien modèle et deux sur le nouveau, sur un ensemble de six questions. Basculez la reprise ci-dessus entre les deux exécutions.
Le chapitre contient un deuxième constat qu’on lit facilement en diagonale. Le banc d’essai qui a produit le tableau de résultats ne contenait aucun raise. Si une question avait épuisé ses étapes, le script serait sorti de la boucle et aurait affiché ce que contenait la dernière réponse. Rien n’a atteint le plafond ce jour-là, et c’est la seule raison pour laquelle rien n’a été perdu.
Pourquoi ça a changé
La boucle a deux façons de se terminer, et elles ne méritent pas la même confiance.
| Sortie | Qui décide | Ce que ça veut dire |
|---|---|---|
| Le modèle cesse de demander des outils | le modèle | Il considère la tâche terminée. C’est généralement vrai. |
| Le compteur s’épuise | vous | La tâche ne s’est pas terminée dans le nombre d’étapes permis. |
« Généralement » est le mot à surveiller. Le module 1 a mesuré ce que fait un système d’échantillonnage avec la même entrée vingt fois. Une boucle qui se termine quand le modèle le dit se termine d’elle-même la plupart du temps, et « la plupart du temps » n’est pas une garantie. L’échec n’est pas un plantage. C’est une requête qui continue, en payant un appel par étape, jusqu’à ce que quelque chose d’autre s’en aperçoive.
Le plafond est la garantie. Ce que vous faites quand il se déclenche décide s’il est utile :
| Au plafond | L’appelant reçoit | L’appelant peut-il s’en rendre compte ? |
|---|---|---|
raise |
une exception | oui |
break, puis renvoyer le dernier texte |
une réponse bien formée issue d’un processus inachevé | non |
La deuxième ligne, c’est de nouveau le pire cas du module 1 : un échec silencieux et plausible. Essayez-le dans la reprise ci-dessus. Abaissez le plafond d’une étape, choisissez « Renvoyer sans rien dire », et trouvez la question coupée sans lire l’étiquette.
Pourquoi l’écrire vous-même ? Parce que rien d’autre ne le fera. BOOK.md consigne que le client de messages du SDK n’a aucun utilitaire de boucle ni de plafond d’étapes. La boucle est votre code ; la condition d’arrêt l’est donc aussi.
Une autre sortie se cache dans la façon habituelle d’écrire le test. Une boucle qui demande « la raison d’arrêt est-elle autre chose que tool_use ? » traite toute autre raison d’arrêt comme une réponse terminée, y compris une réponse coupée à max_tokens. Sur un modèle qui réfléchit avant de répondre, le module 1 a montré à quelle vitesse un budget s’épuise.
Ce qui s’est passé quand le cours l’a exécuté : trois tentatives
Le cours a exécuté cet exercice sur claude-opus-5 avec un banc d’essai qui lève une exception au plafond, ne renvoie une réponse que sur end_turn, puis force une exécution supplémentaire pour atteindre le plafond exprès. Il a fallu trois tentatives pour réussir, et chaque échec résume cette leçon en petit.
| Tentative | Budget par appel | Ce qui s’est passé | Vérification |
|---|---|---|---|
| Première | 1,024 jetons | La question sur la politique de réapprovisionnement a écrit une longue réponse et s’est arrêtée sur max_tokens, coupée au milieu d’une liste. Une boucle qui demande seulement « était-ce une demande d’outil ? » aurait renvoyé cette demi-réponse comme réponse. |
échec : Question 6 stopped on 'max_tokens': the reply was cut off. |
| Deuxième | 2,048 jetons | Les six questions se sont terminées sur end_turn ; la longue réponse a demandé 1,432 jetons de sortie. Puis l’exécution forcée a échoué : elle a relancé la question qui avait pris le plus d’étapes avec un plafond réglé une étape plus bas, question 5, plafond 3, sortie end_turn. La reprise a pris un chemin plus court, donc le plafond ne s’est jamais déclenché. |
échec : The forced run finished with exit 'end_turn' |
| Troisième | 2,048 jetons | Les six se sont terminées ; la longue réponse a demandé 1,355. L’exécution forcée portait maintenant sur la question de la valeur des webcams avec un plafond d’une étape : sa réponse a besoin de l’enregistrement du stock, donc la première réponse doit être une demande d’outil, et un plafond d’une étape arrête la boucle à ce point quel que soit le chemin pris par le modèle. question 3 au plafond 1, sortie par le plafond. |
réussite |
Sources : runs/ch4-course-agent-2026-11-20.txt, -run2.txt, -run3.txt et leurs fichiers de vérification, ainsi que les lignes Course de BOOK.md.
Lisez les trois tentatives ensemble :
- La première était une sortie que personne n’avait nommée.
max_tokensn’est pasend_turn. Le banc d’essai les gardait séparées ; la vérification a donc pu faire échouer l’exécution au lieu de laisser passer une réponse tronquée. - La deuxième tenait à notre plafond, pas au modèle. « Une étape de moins que la dernière fois » est une supposition sur la prochaine exécution, et le module 1 a mesuré que la prochaine exécution diffère. Un plafond qui dépend de la répétition du modèle n’est pas une garantie. La correction a été de choisir un plafond que le modèle ne peut pas déjouer.
- La troisième a réussi parce que les deux corrections étaient en place : un budget à la mesure de la plus longue réponse, et un plafond choisi par construction.
La vérification a refusé les deux premières, et c’est son rôle. Les prédictions des deuxième et troisième tentatives ont été écrites par un agent travaillant pour l’auteur après avoir vu les tentatives précédentes ; la concordance des prédictions d’étapes de la troisième tentative, 6 sur 6, n’est donc pas une prédiction à l’aveugle.
Comment on le mesure
- Les étapes par requête, face au plafond. La marge est le plafond moins la plus longue requête légitime : 5 moins 4 dans l’exécution du livre, et 2 étapes dans l’exécution réussie du cours.
- La sortie prise, à chaque exécution. Consignez si chaque requête s’est terminée sur
end_turn, sur le plafond, ou sur autre chose. - Ce que cette preuve peut porter. Une exécution, une journée, six requêtes. Elle montre que le plafond était serré pour ces six-là. Elle ne montre pas que le même nombre convient à votre charge de travail.
- La version mesurable, comme le dit le chapitre : consignez les étapes par requête pendant une semaine, prenez un centile élevé, et comparez-le au nombre que vous aviez deviné. Un plafond bien au-dessus de ce centile n’a jamais rien protégé.
Comment l’améliorer
- Écrivez le plafond comme un nombre et dites pourquoi, dans un commentaire, en une phrase.
- Levez une exception au plafond. Pas un avertissement, pas une réponse de repli.
- Nommez les sorties que vous acceptez. Renvoyez une réponse sur
end_turn. Traitez toute autre raison d’arrêt comme quelque chose à gérer délibérément. - Bornez le coût mentalement. Le plafond est le nombre maximal d’appels au modèle qu’une requête peut faire. Faites la multiplication avant de livrer.
- Revoyez le nombre avec des données. Un plafond qui ne se déclenche jamais et un plafond qui se déclenche chaque semaine vous disent tous deux quelque chose.
L’argument en faveur du raise se trouve au chapitre 4 du livre, « The tradeoff ». Suite : des étapes que vous n’avez pas écrites.
Chaque nombre de cette leçon et le fichier d’où il vient (12)
| Valeur | Fichier dans les enregistrements du livre | Conditions |
|---|---|---|
| 5 | BOOK.md | |
| 4 | BOOK.md | |
| 2 | runs/ch4-course-check-2026-11-20-run3.txt | |
| 1,024 | BOOK.md | claude-opus-5, 2026-11-20, le banc d’essai du cours, première tentative |
| Question 6 stopped on 'max_tokens': the reply was cut off. | runs/ch4-course-check-2026-11-20.txt | |
| 2,048 | runs/course1-paid-runs-2026-11-20-run2-env.txt | |
| 1,432 | BOOK.md | |
| question 5, plafond 3, sortie end_turn | runs/ch4-course-agent-2026-11-20-run2.txt | |
| The forced run finished with exit 'end_turn' | runs/ch4-course-check-2026-11-20-run2.txt | |
| 1,355 | BOOK.md | |
| question 3 au plafond 1, sortie par le plafond | runs/ch4-course-check-2026-11-20-run3.txt | |
| 6 sur 6 | runs/ch4-course-check-2026-11-20-run3.txt | prédictions écrites après avoir vu deux tentatives, par un agent travaillant pour l’auteur : pas une prédiction à l’aveugle |
Référence : Chapitre 4, « The tradeoff ».