Measured Academy Measured Academy
English Pilote Progression 0

Module 4 · Leçon 4 sur 4

Où la boucle se brise

  1. Ce qui s’est passéLire seulement le premier bloc de contenu fait perdre une deuxième demande d’outil, dans le pire des cas sans aucune erreur ; répondre à une seule de deux demandes a été rejeté par l’API ; un outil en échec n’a pas arrêté le modèle ; et les mêmes six requêtes exécutées deux fois ont donné des traces différentes.
  2. Pourquoi ça a changéUne réponse est une liste de blocs dont le premier élément n’est pas forcément celui que vous voulez, l’API exige un résultat pour chaque demande, et la séquence des étapes est échantillonnée tout comme le texte d’une réponse.
  3. Comment on le mesureDes requêtes sont envoyées avec des résultats complets, réordonnés et partiels pour voir lesquels l’API accepte, un résultat en échec est renvoyé pour voir la raison d’arrêt, et les mêmes requêtes sont exécutées deux fois pour comparer les traces.
  4. Comment l’améliorerParcourir chaque bloc, répondre à chaque demande, placer la décision sur un outil en échec dans votre propre code, traiter les résultats d’outils comme des entrées non fiables, et ne jamais affirmer un nombre exact d’étapes dans un test.
Côte à côte

Répondez à toutes, dans n’importe quel ordre

Essayez. Construisez le tour que vous renvoyez : incluez ou omettez chacun des deux résultats, et inversez leur ordre.

D’où viennent ces données · SDK 1.2.0 · 2026-08-27

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • BOOK.md Measured findings, rows "Two tool_results in one user turn" and "Partial tool results"
Bascule

Les mêmes requêtes, exécutées deux fois

Essayez. Passez de la première à la deuxième exécution, dans l’enregistrement du chapitre 4 puis dans celui du chapitre 8.

D’où viennent ces données · claude-opus-4-6 · 2026-08-28 et 2026-09-02

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • BOOK.md Measured findings, row "Trace-level nondeterminism"
  • BOOK.md errata, the entry that removed that row's caveat

Le code était identique d’une exécution à l’autre dans les deux enregistrements. BOOK.md ne dit pas de laquelle des six requêtes il s’agissait.

Ce qui s’est passé

Cinq façons dont cette boucle tourne mal, dont quatre consignées dans BOOK.md, constats mesurés.

Le premier bloc n’est pas toute la réponse. Une question qui contenait deux additions distinctes a renvoyé 2 blocs de demande d’outil dans une seule réponse. Une boucle qui ne lit que le premier bloc exécute un outil et ignore l’autre. Si elle ne renvoie aussi que ce bloc, le modèle poursuit en répondant à partir d’un ensemble de résultats troué, et rien ne produit d’erreur ; c’est le cas que décrit le chapitre. Si elle renvoie la réponse entière avec un seul résultat, c’est plutôt le point suivant qui s’applique.

Les résultats partiels sont rejetés. Renvoyez les deux résultats et l’API accepte le tour. Inversez leur ordre et elle l’accepte encore. Renvoyez-en un sur deux et la requête échoue avec le statut 400 et un message disant que des identifiants de demande d’outil ont été trouvés sans résultat correspondant.

Un outil en échec n’arrête pas le modèle. Un résultat marqué comme erreur, porteur d’un message de division par zéro, a été accepté. La raison d’arrêt de la réponse suivante était end_turn : le modèle a pris acte de l’échec et a répondu par une autre voie. Une exécution, une requête.

Un bloc de réflexion peut arriver en premier. Sur un modèle qui réfléchit par défaut, le premier bloc de contenu était un bloc de réflexion sans attribut text (claude-opus-5, 2026-09-07). C’est le même défaut que l’appel d’outil perdu, provoqué par un changement de modèle au lieu d’un changement de question.

La trace elle-même bouge. Les mêmes six requêtes ont été exécutées deux fois de suite. L’une d’elles a pris 1 étape et 0 appel d’outil lors de la première exécution, puis 3 étapes et 4 appels d’outil lors de la deuxième. Les trois tentatives du cours sur claude-opus-5 le montrent de nouveau : la question des souris a pris trois étapes, puis quatre, puis trois (2, 1, 3, 2, 3, 1 ; 2, 1, 3, 2, 4, 1 ; 2, 1, 3, 2, 3, 1), et dans la deuxième tentative elle en a repris trois quand on l’a relancée quelques instants plus tard. C’est cette dernière reprise qui a brisé la première conception de l’exécution forcée du cours (leçon 2).

Pourquoi ça a changé

Les quatre premiers cas ont une cause commune. Une réponse est une liste de blocs, et l’API vous tient à un contrat sur cette liste :

Vous faites L’API fait Pourquoi c’est la meilleure conception
Répondre à chaque demande, dans n’importe quel ordre accepte l’ordre n’a pas de sens ; ce sont les identifiants qui font l’appariement
Répondre à certaines demandes rejette le tour un bloc perdu devient une erreur, pas une réponse dégradée
Lire le bloc zéro et s’arrêter rien, elle ne voit pas votre boucle celui-là, c’est à vous de l’empêcher

Explorez les combinaisons dans la première visionneuse ci-dessus. Le rejet est le cas utile. Le dangereux, c’est le bogue qui n’atteint jamais l’API : votre boucle construit en silence un tour d’apparence complète à partir de la moitié des demandes.

Le cinquième cas a une autre cause, et c’est la leçon du module 1, un niveau plus haut. Là-bas, la formulation d’une réponse variait pour une requête fixe. Ici, c’est la séquence des étapes qui varie. Rien dans le code n’a changé entre les deux exécutions.

Le premier enregistrement de ce phénomène a été fait avant que l’outil de recherche soit corrigé pour accepter les noms de produits, ce qui laissait place à l’hypothèse d’un outil brisé. Cette réserve a été retirée par la suite : le chapitre 8 a reproduit l’effet avec un code identique et un outil fonctionnel, où 2 sur 6 requêtes ont changé de nombre d’étapes d’une exécution à la suivante (BOOK.md, errata).

Comment on le mesure

  • Sondez le contrat. Envoyez les deux mêmes résultats complets, inversés, puis avec un résultat manquant, et consignez ce qui revient chaque fois.
  • Renvoyez un échec exprès et journalisez la raison d’arrêt de la réponse suivante.
  • Exécutez les mêmes requêtes deux fois et comparez les traces ligne par ligne. Une différence sans changement de code, c’est ça le constat.
  • Sachez ce qui soutient le tableau. La sortie originale du livre n’a pas été enregistrée. Ce qui le soutient maintenant, c’est un banc d’essai ultérieur, construit pour le chapitre 10 à partir du code imprimé dans ce chapitre, qui a reproduit le tableau des étapes sur 18 sur 18 exécutions de requêtes réparties sur trois volets (BOOK.md). Les exécutions du cours sur un modèle actuel sont conservées en entier, chaque demande, résultat et réponse, dans runs/. Le tableau s’est reproduit, et la trace a aussi bougé, au chapitre 8 et dans les tentatives du cours. Les deux sont vrais : un résultat peut être typique et rester un échantillon.

Comment l’améliorer

  • Parcourez chaque bloc et filtrez par type. Repérez les demandes d’outil par leur type, et le texte par le sien. Cette seule habitude couvre la deuxième demande et le bloc de réflexion.
  • Construisez un résultat par demande, toujours. Si un outil lève une exception, renvoyez un résultat d’erreur pour cet identifiant ; ne le sautez pas.
  • Décidez dans votre code ce que veut dire un échec. Le modèle continuera après un résultat d’erreur. Si la requête doit s’arrêter, arrêtez-la au-dessus de la boucle.
  • N’affirmez pas un nombre d’étapes dans un test. Affirmez une borne, ou affirmez le résultat. Une estimation de coût tirée d’une seule trace observée repose sur un seul tirage.
  • Traitez les résultats d’outils comme des entrées non fiables. Tout ce qu’un outil renvoie devient une entrée du modèle au milieu du processus. Le module 11 en fait le tour complet.
  • Sachez quand ne pas construire de boucle. Le chapitre énumère quatre cas : les étapes sont connues à l’avance, il n’y a qu’un seul outil, il y a une limite stricte de latence, ou vous ne pouvez pas autoriser ce que l’outil ferait.

Les cas limites se trouvent au chapitre 4 du livre, « Edge cases ». Passez maintenant au test pratique.

Chaque nombre de cette leçon et le fichier d’où il vient (9)
ValeurFichier dans les enregistrements du livreConditions
2BOOK.md
400BOOK.md
1 étape et 0 appel d’outilBOOK.mdclaude-opus-4-6, SDK 1.2.0, 2026-08-28, deux exécutions consécutives
3 étapes et 4 appels d’outilBOOK.md
2, 1, 3, 2, 3, 1runs/ch4-course-agent-2026-11-20.txtclaude-opus-5, 2026-11-20, première tentative, max_tokens 1024
2, 1, 3, 2, 4, 1runs/ch4-course-agent-2026-11-20-run2.txtclaude-opus-5, 2026-11-20, deuxième tentative
2, 1, 3, 2, 3, 1runs/ch4-course-check-2026-11-20-run3.txtclaude-opus-5, 2026-11-20, troisième tentative, vérification PASS
2 sur 6BOOK.md
18 sur 18BOOK.mdle banc d’essai du chapitre 10, construit à partir du code imprimé au chapitre 4, sur trois volets

Référence : Chapitre 4, « Edge cases » et « When NOT to use this ».