Measured Academy Measured Academy
English Pilote Progression 0

Module 4 · Test pratique

Deux outils, un plafond qui lève une exception, et une trace lisible

Vous l’exécutez sur votre propre machine avec votre propre clé d’API. Rien de ce que vous exécutez n’est envoyé à ce site.

Obtenir les fichiers

Tout ce que ce test vous demande d’exécuter tient dans un seul téléchargement, organisé exactement comme dans le dépôt compagnon : chaque commande des étapes fonctionne depuis le dossier décompressé.

Télécharger la trousse du module 4 (zip, 7 fichiers)

  • ch04-first-agent/ch03_trace.py
  • ch04-first-agent/ch4_course_agent.py
  • ch04-first-agent/ch4_course_check.py
  • ch04-first-agent/course-agent-2026-11-20-attempt3.txt
  • ch04-first-agent/course-agent-2026-11-20-attempt3.jsonl
  • ch04-first-agent/course-prediction-2026-11-20-attempt3.json
  • ch04-first-agent/course-check-2026-11-20-attempt3.txt

Décompressez-la, ouvrez un terminal dans module-4-kit, créez un environnement virtuel Python 3.12 et installez ce dont les modules 1 à 4 ont besoin :

pip install anthropic==1.2.0 pydantic==2.13.5

Ces deux versions épinglées sont lues dans le requirements.txt de la trousse, qui liste aussi des paquets utilisés seulement par les modules suivants. Le dépôt compagnon n’est pas encore ouvert aux apprenants du pilote : utilisez ce téléchargement partout où les étapes disent « dépôt compagnon ».

Essayez la vérification avant de dépenser quoi que ce soit. Cette commande l’exécute sur l’exécution enregistrée du cours et n’a besoin d’aucune clé :

python ch04-first-agent/ch4_course_check.py --trace ch04-first-agent/course-agent-2026-11-20-attempt3.jsonl --prediction ch04-first-agent/course-prediction-2026-11-20-attempt3.json

Elle devrait afficher Module 4 check: PASS. C’est le résultat du cours, pas le vôtre : ne l’inscrivez pas plus bas.

Ce que vous allez faire

Ajouter une calculatrice comme deuxième outil à l’agent de recherche dans le stock du chapitre, prédire combien d’étapes demandera chacune des six questions, les exécuter, et lire votre trace par rapport au tableau du chapitre. Faire ensuite déclencher exprès le plafond d’étapes et confirmer qu’il lève une exception.

Ce cours s’adresse aux personnes de 18 ans ou plus.

Coût

Vous utilisez votre propre clé d’API ; c’est donc vous qui payez cette exécution.

Élément Exécution du cours, claude-opus-5 (tentative réussie) Exécution du livre, claude-opus-4-6
Appels au modèle 13 : douze pour les six questions, un forcé non enregistré
Jetons d’entrée 7,730 non enregistré : l’exécution n’a journalisé aucune consommation
Jetons de sortie 2,430, dont 666 de réflexion non enregistré
Coût de cette exécution $0.10 aucun montant
Source BOOK.md, constats mesurés ; runs/ch4-course-check-2026-11-20-run3.txt COST.md range le Ch 4 parmi les exécutions qui n’ont journalisé aucune consommation

Le cours a eu besoin de trois tentatives pour réussir (module 4, leçon 2). Les deux premières ont coûté $0.10 et $0.13. Si votre exécution échoue à la vérification, la relancer coûte à peu près autant. Aucune question ne peut faire plus d’appels que votre plafond, et chaque appel envoie les deux définitions d’outils et toute la liste des messages jusque-là ; les étapes tardives coûtent donc plus en entrée que les premières.

Étapes

Travaillez à partir de la trousse décompressée (les mêmes fichiers que le dossier ch04-first-agent/ du dépôt compagnon), depuis son dossier principal. Vos fichiers vont dans ch04-first-agent/out/. La trousse contient aussi le banc d’essai du cours lui-même, ch4_course_agent.py, et son exécution réussie. Construisez d’abord le vôtre ; ouvrez ceux-là ensuite pour comparer.

  1. Lisez l’exercice du chapitre, puis ch04-first-agent/ch03_trace.py. Le script garde le numéro sous lequel il a été écrit. C’est le banc d’essai de l’auteur, et il a deux défauts que vous allez corriger : quand il manque d’étapes, il sort de la boucle au lieu de lever une exception, et il affiche sa trace au lieu de l’enregistrer.
  2. Écrivez vos prédictions et enregistrez-les dans ch04-first-agent/out/prediction.json avant tout appel :

    {
      "predicted_steps": [0, 0, 0, 0, 0, 0],
      "predicted_at": "2026-01-01T00:00:00+00:00"
    }
    

    Un nombre entier par question, dans l’ordre de la liste PROMPTS du script. Réglez predicted_at à l’heure UTC actuelle. Cette commande l’affiche : python -c "from datetime import datetime, timezone; print(datetime.now(timezone.utc).isoformat())"

  3. Copiez le script dans ch04-first-agent/out/my_agent.py. Dans votre copie :

    • utilisez votre identifiant de modèle ;
    • écrivez vous-même la description de la calculatrice, avant de lire celle de l’auteur ;
    • choisissez votre propre valeur de MAX_STEPS et dites pourquoi dans un commentaire d’une phrase ;
    • faites lever une exception à la boucle quand le plafond est atteint ;
    • ne renvoyez une réponse que lorsque la raison d’arrêt est end_turn, et traitez toute autre raison d’arrêt qui n’est pas tool_use comme un échec consigné ;
    • construisez la réponse en joignant les blocs de texte, et recueillez les demandes d’outil en filtrant selon le type de bloc.
  4. Enregistrez la trace dans ch04-first-agent/out/trace.jsonl, une ligne par appel au modèle :

    {"ts": "...", "run": "six", "prompt": 0, "step": 1, "model": "...",
     "stop_reason": "tool_use",
     "tool_calls": [{"name": "lookup_stock", "input": {"query": "headset"}, "result": "..."}],
     "usage_input_tokens": 0, "usage_output_tokens": 0}
    

    et une ligne de clôture par question :

    {"ts": "...", "run": "six", "prompt": 0, "record_type": "outcome",
     "steps": 2, "exit": "end_turn", "max_steps": 5, "answer": "..."}
    

    prompt se compte à partir de zéro. exit vaut "end_turn", "cap" quand votre boucle a levé une exception, ou sinon la raison d’arrêt qui l’a terminée.

  5. Exécutez les six questions.

  6. Faites maintenant déclencher le plafond. Exécutez une fois de plus la question sur la valeur des webcams avec le plafond d’étapes réglé à un, et écrivez ses lignes avec "run": "forced". Sa ligne de résultat doit indiquer "exit": "cap", et votre terminal doit montrer l’exception. Pourquoi cette question et ce plafond : sa réponse a besoin de l’enregistrement du stock, que seul l’outil de recherche détient ; la première réponse doit donc être une demande d’outil, et un plafond d’une étape arrête la boucle avant qu’elle puisse refaire un tour. Un plafond d’« une étape de moins que la dernière fois » n’est pas sûr, parce qu’une reprise peut trouver un chemin plus court.
  7. Prenez la question claviers ou casques et modifiez une copie de votre boucle pour qu’elle ne lise que le premier bloc de contenu. Exécutez-la une fois et notez dans ch04-first-agent/out/notes.md ce qui est revenu. C’est le premier échec de la leçon 4, sur votre propre machine.
  8. Comparez votre trace au tableau du chapitre, question par question, et ajoutez trois phrases à notes.md : où la vôtre diffère, quelle sortie chaque exécution a prise, et quelle était la marge sous votre plafond.

Vérification

Cette étape n’a besoin ni de clé ni de réseau :

python ch04-first-agent/ch4_course_check.py

Elle lit ch04-first-agent/out/trace.jsonl et ch04-first-agent/out/prediction.json dans les formats ci-dessus.

Réussi quand

ch4_course_check.py affiche Module 4 check: PASS et se termine avec le code 0, et vous pouvez cocher la liste ci-dessous. Le script réussit quels que soient les nombres d’étapes. Il vérifie que :

  • chaque appel au modèle des six questions et de l’exécution forcée a une ligne avec sa raison d’arrêt, ses demandes d’outil avec leurs entrées et résultats complets, et sa consommation de jetons ;
  • chaque question a une seule ligne de résultat dont le nombre d’étapes et la sortie concordent avec ses lignes d’appel ;
  • les six questions se sont terminées sur end_turn : aucune n’a été coupée à max_tokens et aucune n’a atteint votre plafond ;
  • l’exécution forcée a utilisé un plafond d’une étape et s’est terminée au plafond, avec exactement un appel ;
  • vos prédictions sont six nombres entiers datés d’avant votre premier appel.

Le script lit votre trace, pas votre code. Trois choses que vous seul pouvez vérifier :

Marquez ensuite le module comme terminé.

Si la vérification échoue

Le script énumère chaque problème avec le numéro de la vérification qui l’a détecté. Ne modifiez pas trace.jsonl ; modifiez votre boucle et exécutez-la de nouveau. Les deux premières tentatives du cours lui-même ont échoué sur les deuxième et troisième lignes ci-dessous.

Le message commence par Ce que ça veut dire Quoi faire
Can't check yet Un fichier manque ou n’est pas du JSON valide (code de sortie 2) Écrivez d’abord prediction.json, puis exécutez votre agent
Question N stopped on 'max_tokens' La réponse a été coupée, peut-être par la réflexion Augmentez max_tokens et relancez ; une longue réponse sans outil a demandé plus de mille jetons dans l’exécution du cours
The forced run L’exécution forcée ne s’est pas terminée à un plafond d’une étape Réglez le plafond à un sur la question de la valeur des webcams ; un plafond d’« une étape de moins que la dernière fois » peut être déjoué par un chemin plus court
stopped on 'tool_use' with no tool calls logged Votre boucle n’a journalisé que certaines demandes, ou aucune Journalisez chaque bloc de demande d’outil avec son entrée
doesn't recompute Une ligne de résultat contredit les lignes d’appel Relancez ; ne modifiez pas le fichier
hit your step cap L’une des six questions a eu besoin de plus d’étapes que votre plafond Relevez le plafond et dites pourquoi dans son commentaire

Des problèmes que le script ne peut pas voir, mais que votre terminal montrera :

Ce que vous voyez Ce que ça veut dire Quoi faire
Une erreur qui nomme des identifiants de demande d’outil sans résultat Une réponse contenait plus d’une demande et votre boucle n’a répondu qu’à certaines Construisez un résultat par bloc de demande
Une erreur d’attribut sur le premier bloc de contenu Le premier bloc n’est pas du texte Filtrez les blocs par type
La question sur la politique appelle un outil La description de la calculatrice l’y invite Modifiez d’abord la description, puis le nom de l’outil

Deux exécutions enregistrées auxquelles comparer la vôtre. L’exécution du livre a pris 2, 2, 3, 2, 4, 1 étapes pour les six questions, avec un plafond de 5 qui ne s’est jamais déclenché (BOOK.md, constats mesurés, claude-opus-4-6) ; un banc d’essai ultérieur construit à partir du code du chapitre a reproduit ce tableau sur 18 sur 18 exécutions de requêtes. L’exécution réussie du cours a pris 2, 1, 3, 2, 3, 1 sur claude-opus-5 (runs/ch4-course-check-2026-11-20-run3.txt). La vôtre différera quelque part. Dites où, et pourquoi selon vous.

Inscrire votre résultat

Exécutez ch4_course_check.py sur votre machine, puis collez tout ce qu’il a affiché. La page lit la première ligne (Module 4 check: PASS ou FAIL) et garde le résultat dans ce navigateur. Ne collez pas de clé d’API ; le script n’en affiche jamais.

Aucun résultat inscrit pour l’instant.