Module 4 · Leçon 3 sur 4
Des étapes que vous n’avez pas écrites
- Ce qui s’est passéLe modèle a réparti deux appels d’outil dépendants sur deux étapes, envoyé ensemble deux appels indépendants dans une seule réponse, réessayé une recherche ratée avec un autre mot, utilisé la calculatrice pour une simple opération et n’a rien appelé pour une question générale.
- Pourquoi ça a changéLa forme de chaque question a décidé de la séquence, parce que le modèle ne peut demander un outil que s’il a déjà son entrée, et il s’est rattrapé d’un raté par lui-même parce que rien dans la boucle ne lui disait d’arrêter.
- Comment on le mesureLa trace énumère, à chaque étape, chaque demande d’outil avec son entrée complète ; c’est le seul endroit où la nouvelle tentative et les appels en parallèle sont visibles.
- Comment l’améliorerJournaliser les entrées et pas seulement les noms, faire accepter à l’outil ce qu’une question contient naturellement, décider dans votre propre code ce que veut dire un outil en échec, et tester la description avec une question qui ne devrait pas utiliser l’outil.
Deux questions, deux formes
Essayez. Appuyez sur « Étape suivante » pour faire avancer les deux questions ensemble. Cochez la case pour voir ce que le modèle sait avant chaque étape.
D’où viennent ces données · claude-opus-4-6, 2026-08-28; claude-opus-5, 2026-11-20
Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.
BOOK.md Measured findingschapters/chapter-04-your-first-agent.md "How you verify"scripts/ch03_trace.pyruns/ch4-course-agent-2026-11-20-run3.jsonl
Les nombres d’étapes et les demandes d’outil proviennent du tableau de résultats du chapitre. La sortie de l’exécution n’a pas été conservée ; chaque résultat affiché est donc recalculé en exécutant le code de l’outil lui-même, tiré de scripts/ch03_trace.py, sur l’entrée enregistrée.
La nouvelle tentative, noms seulement et avec entrées
Essayez. Faites passer la trace des noms d’outils seulement aux noms avec leurs entrées et leurs résultats.
D’où viennent ces données · claude-opus-4-6, 2026-08-28; claude-opus-5, 2026-11-20
Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.
BOOK.md Measured findings, row "Model-side retry after a failed lookup"scripts/ch03_trace.pyruns/ch4-course-agent-2026-11-20-run2.jsonl
Les nombres d’étapes et les demandes d’outil proviennent du tableau de résultats du chapitre. La sortie de l’exécution n’a pas été conservée ; chaque résultat affiché est donc recalculé en exécutant le code de l’outil lui-même, tiré de scripts/ch03_trace.py, sur l’entrée enregistrée.
Ce qui s’est passé
Relisez le tableau de résultats de la leçon 1, cette fois pour ce que le modèle a fait sans qu’aucune ligne de la boucle le demande. Tout provient de BOOK.md, constats mesurés, une exécution.
Il a réparti les appels dépendants. Pour la valeur des webcams en stock, le modèle a cherché la webcam, attendu le résultat, puis demandé à la calculatrice de faire la multiplication. Ça a pris 3 étapes.
Il a envoyé ensemble les appels indépendants. Pour « plus de claviers ou de casques », il a mis deux demandes de recherche dans une seule réponse. Les deux résultats sont revenus dans un seul tour, et la question a été réglée en 2 étapes.
Il a réessayé. À la question du coût pour ramener les souris à dix unités, il a cherché « mice » et reçu un message « no record ». Il a ensuite cherché « mouse » sans qu’on le lui dise, obtenu l’enregistrement et fait le calcul : 4 étapes. Il n’y a aucune logique de nouvelle tentative dans la boucle.
Il a utilisé un outil pour une simple opération. Une multiplication nue, sans rien d’inventaire, est allée à la calculatrice, 2 étapes, au lieu de recevoir une réponse directe.
Il n’a rien utilisé. La question sur la politique de réapprovisionnement a reçu une réponse en 1 étape, sans appel d’outil.
Le cours a refait le même exercice trois fois sur claude-opus-5 (la leçon 2 explique pourquoi trois). Deux de ces comportements ont bougé :
| Comportement | Exécution du livre, claude-opus-4-6 |
Tentatives du cours sur claude-opus-5 : première, deuxième, troisième |
|---|---|---|
| Étapes pour les six questions | 2, 2, 3, 2, 4, 1 | 2, 1, 3, 2, 3, 1 ; 2, 1, 3, 2, 4, 1 ; 2, 1, 3, 2, 3, 1 |
| Multiplication nue | envoyée à la calculatrice | réponse sans outil, les trois fois |
| Question des souris | raté sur « mice », nouvelle tentative avec « mouse » | recherche directe de « mouse » ; raté puis nouvelle tentative ; recherche directe de « mouse » |
Sources : BOOK.md ; runs/ch4-course-agent-2026-11-20.txt, -run2.txt et runs/ch4-course-check-2026-11-20-run3.txt. La nouvelle tentative que le livre appelle « celle du modèle, pas la vôtre » s’est produite dans une seule des trois tentatives du cours, avec le même code. Basculez la visionneuse de la nouvelle tentative ci-dessous vers l’exécution du cours pour voir les entrées et les résultats de cette tentative.
Pourquoi ça a changé
Comparez les deux cas du milieu dans la première visionneuse ci-dessus.
| Valeur des webcams | Claviers ou casques | |
|---|---|---|
| Ce dont le deuxième appel a besoin | le prix unitaire, que seul le résultat du premier appel contient | rien de l’autre appel |
| Les appels arrivent donc | un par réponse | ensemble dans une seule réponse |
| Étapes | 3 | 2 |
Cette différence n’est pas un réglage que vous avez activé. Le modèle ne peut pas demander une multiplication avant d’avoir les nombres à multiplier. C’est la forme de la question qui apparaît sous la forme de la trace.
La nouvelle tentative a une explication plus gênante. La recherche faisait correspondre les noms de produits après avoir retiré un « s » final, ce qui règle « headsets » et « webcams » mais ne fait rien pour « mice ». L’auteur ne l’avait pas remarqué. Le modèle a compensé, au prix d’une étape.
Gardez les deux moitiés en tête. Le comportement qui a rattrapé un bogue dans la règle de correspondance est le même qui répondra en contournant un outil vraiment brisé. De l’extérieur, les deux se ressemblent : un résultat en échec, puis une réponse assurée.
Les deux derniers cas portent sur les descriptions des outils. La description est le principal levier dont vous disposez pour décider quand le modèle se tourne vers un outil, et le nom de l’outil est lu lui aussi. Le chapitre dit que la portée de ce levier est mesurable, et le module 10 la mesure sur ce même agent.
Comment on le mesure
- Les noms et les entrées, à chaque étape. Faites passer la deuxième visionneuse d’un réglage à l’autre. Avec les noms seulement, la question des souris montre la recherche deux fois et vous ne pouvez pas distinguer une nouvelle tentative d’un doublon. Avec les entrées, le raté et le mot changé sautent aux yeux.
- Les résultats aussi, en cas de raté. C’est le texte « no record » qui explique l’étape supplémentaire.
- Une question qui ne devrait utiliser aucun outil, et une qui teste l’autre direction. La question de la politique et la multiplication nue forment une paire assortie pour la description de la calculatrice.
- Un nombre d’étapes par question, sans lequel le coût d’une nouvelle tentative resterait invisible.
Comment l’améliorer
- Journalisez l’entrée complète de chaque demande. Les noms coûtent moins cher et ne suffisent pas.
- Faites accepter à l’outil ce que contiennent les questions. La première recherche du chapitre ne prenait qu’un code de produit, chaque question nommait un produit, et le deuxième outil n’était jamais atteint. La signature fait partie de la surface de la requête.
- Corrigez le raté dans l’outil, au lieu de compter sur la nouvelle tentative. Une nouvelle tentative que vous n’avez pas écrite est une étape que vous payez et sur laquelle vous ne pouvez pas compter.
- Décidez ce que veut dire un outil en échec, au-dessus de la boucle. Si un échec veut dire qu’on ne peut pas répondre à la requête, c’est votre code qui doit le dire. Le modèle ne le fera pas.
- Quand un outil est mal utilisé, modifiez d’abord la description, puis regardez le nom.
Le tableau et sa lecture se trouvent au chapitre 4 du livre, « Hands-on exercise ». Suite : où la boucle se brise.
Chaque nombre de cette leçon et le fichier d’où il vient (9)
| Valeur | Fichier dans les enregistrements du livre | Conditions |
|---|---|---|
| 3 | BOOK.md | |
| 2 | BOOK.md | |
| 4 | BOOK.md | |
| 2 | BOOK.md | |
| 1 | BOOK.md | |
| 2, 2, 3, 2, 4, 1 | BOOK.md | claude-opus-4-6, SDK 1.2.0, 2026-08-28, une exécution, MAX_STEPS = 5 ; la sortie n’a pas été conservée |
| 2, 1, 3, 2, 3, 1 | runs/ch4-course-agent-2026-11-20.txt | claude-opus-5, 2026-11-20, première tentative, max_tokens 1024 |
| 2, 1, 3, 2, 4, 1 | runs/ch4-course-agent-2026-11-20-run2.txt | claude-opus-5, 2026-11-20, deuxième tentative |
| 2, 1, 3, 2, 3, 1 | runs/ch4-course-check-2026-11-20-run3.txt | claude-opus-5, 2026-11-20, troisième tentative, vérification PASS |
Référence : Chapitre 4, « Hands-on exercise » (le tableau de résultats et les trois choses à en tirer) et « Edge cases ».