Measured Academy Measured Academy
English Pilote Progression 0

Module 3 · Test pratique

Typer le routeur, le briser exprès, garder l’enregistrement

Vous l’exécutez sur votre propre machine avec votre propre clé d’API. Rien de ce que vous exécutez n’est envoyé à ce site.

Obtenir les fichiers

Tout ce que ce test vous demande d’exécuter tient dans un seul téléchargement, organisé exactement comme dans le dépôt compagnon : chaque commande des étapes fonctionne depuis le dossier décompressé.

Télécharger la trousse du module 3 (zip, 9 fichiers)

  • ch03-structured-output/ch3_course_route_typed.py
  • ch03-structured-output/ch3_course_check.py
  • ch03-structured-output/ch3_route_typed.py
  • ch03-structured-output/run-2026-10-14.txt
  • ch03-structured-output/run-2026-10-14.jsonl
  • ch03-structured-output/course-run-2026-11-20.txt
  • ch03-structured-output/course-run-2026-11-20.jsonl
  • ch03-structured-output/course-prediction-2026-11-20.json
  • ch03-structured-output/course-check-2026-11-20.txt

Décompressez-la, ouvrez un terminal dans module-3-kit, créez un environnement virtuel Python 3.12 et installez ce dont les modules 1 à 4 ont besoin :

pip install anthropic==1.2.0 pydantic==2.13.5

Ces deux versions épinglées sont lues dans le requirements.txt de la trousse, qui liste aussi des paquets utilisés seulement par les modules suivants. Le dépôt compagnon n’est pas encore ouvert aux apprenants du pilote : utilisez ce téléchargement partout où les étapes disent « dépôt compagnon ».

Essayez la vérification avant de dépenser quoi que ce soit. Cette commande l’exécute sur l’exécution enregistrée du cours et n’a besoin d’aucune clé :

python ch03-structured-output/ch3_course_check.py --run ch03-structured-output/course-run-2026-11-20.jsonl --prediction ch03-structured-output/course-prediction-2026-11-20.json

Elle devrait afficher Module 3 check: PASS. C’est le résultat du cours, pas le vôtre : ne l’inscrivez pas plus bas.

Ce que vous allez faire

Faire passer les dix billets dans le routeur deux fois, sans type puis avec type, puis faire échouer exprès un appel typé. Prédire trois choses avant d’exécuter. Le banc d’essai du cours écrit une ligne par appel, y compris l’appel qui échoue, c’est-à-dire la partie que le banc d’essai du livre lui-même avait manquée.

Ce cours s’adresse aux personnes de 18 ans ou plus.

Coût

Vous utilisez votre propre clé d’API ; c’est donc vous qui payez cette exécution.

Élément Exécution du cours, claude-opus-5 Exécution du livre, claude-opus-4-6
Appels 21 : dix non typés, dix typés, un tronqué les mêmes
Jetons, appels non typés 549 en entrée, 528 en sortie 416 en entrée, 40 en sortie
Jetons, appels typés 2,919 en entrée, 120 en sortie 2,266 en entrée, 80 en sortie
Coût de cette exécution $0.03 $0.02
Source BOOK.md, constats mesurés ; runs/ch3-course-route-typed-2026-11-20.txt COST.md, ligne Ch 3

L’appel tronqué n’a aucune consommation dans l’une ou l’autre exécution : il a levé une exception avant qu’il y ait une réponse à lire. La vérification elle-même ne coûte rien.

Étapes

Travaillez à partir de la trousse décompressée (les mêmes fichiers que le dossier ch03-structured-output/ du dépôt compagnon), depuis son dossier principal. Vos fichiers vont dans ch03-structured-output/out/.

  1. Lisez ch03-structured-output/ch3_route_typed.py, le banc d’essai du livre : les dix billets, les deux routeurs et l’appel tronqué. Vous exécuterez la version du cours, ch3_course_route_typed.py, qui envoie les mêmes requêtes et change cinq choses : elle lit le premier bloc de texte, donne aux appels d’acheminement de la place pour réfléchir (un max_tokens bien plus grand que celui du livre), consigne chaque appel typé comme renvoyé, exception ou None, écrit une ligne pour chaque appel, y compris celui qui lève une exception, et s’arrête à une limite d’appels et de jetons.
  2. Prédisez, avant tout appel. Le banc d’essai enregistre vos trois prédictions avec l’heure :

    python ch03-structured-output/ch3_course_route_typed.py predict --before-clean <0-10> --same-queue <0-10> --truncation raised|none|returned
    
    • --before-clean : pour combien des dix billets le retour non typé sera exactement un nom de file, sans nettoyage.
    • --same-queue : pour combien de billets les routeurs non typé et typé choisiront la même file.
    • --truncation : ce que fera l’appel typé tronqué sur votre modèle.
  3. Exécutez-le avec votre propre clé et un identifiant de modèle actuel :

    python ch03-structured-output/ch3_course_route_typed.py run --model <model id>
    

    Il écrit ch03-structured-output/out/run.jsonl : une ligne par appel, puis un en-tête avec les trois décomptes. Chaque ligne consigne la partie (before, after ou truncation), le billet, l’issue, la réponse non typée ou la file typée, la classe et le message de l’exception si elle a été levée, la raison d’arrêt et la consommation de jetons, avec les jetons de réflexion quand l’API les déclare.

  4. Comparez vos lignes aux deux exécutions enregistrées, billet par billet : celle du livre dans ch03-structured-output/run-2026-10-14.jsonl, et celle du cours sur un modèle actuel dans ch03-structured-output/course-run-2026-11-20.jsonl. Regardez ensuite le billet 10 et décidez quelle file vous mettriez dans un corrigé, et pourquoi.

  5. Prolongement, facultatif : écrivez un appelant pour le routeur typé qui traite une ValidationError et un résultat None dans deux branches séparées (leçon 3), et testez-le sur la ligne de la troncature.

Vérification

Cette étape n’a besoin ni de clé ni de réseau :

python ch03-structured-output/ch3_course_check.py

Réussi quand

ch3_course_check.py affiche Module 3 check: PASS et se termine avec le code 0. Le script réussit quel que soit le nombre de retours non typés propres et de billets concordants. Il vérifie que :

  • le fichier d’exécution a son en-tête et chaque enregistrement d’appel avec tous ses champs ;
  • dix appels non typés et dix appels typés couvrent chaque billet une fois, et il y a un appel tronqué ;
  • les billets et les files sont ceux du module, sur un seul modèle, avec un seul max_tokens d’acheminement et un plus petit pour l’appel tronqué ;
  • chaque ligne est cohérente : un appel typé qui a renvoyé une valeur contient l’une des quatre files, un appel qui a levé une exception la nomme ;
  • les trois décomptes de l’en-tête se recalculent à partir des lignes, donc le fichier n’a pas été modifié ;
  • la consommation de jetons est journalisée pour chaque appel revenu ;
  • l’appel tronqué n’a pas renvoyé de file : il a levé une exception ou donné None, et dans les deux cas il figure comme ligne du fichier ;
  • vos prédictions sont dans l’intervalle et datées d’avant votre premier appel ;
  • chaque appel d’acheminement s’est terminé : aucune réponse non typée vide, aucun arrêt sur max_tokens, et les dix appels typés ont renvoyé une file.

Marquez ensuite le module comme terminé.

Si la vérification échoue

Le script énumère chaque problème avec le numéro de la vérification qui l’a détecté. Ne modifiez pas run.jsonl ; relancez le banc d’essai.

Le message commence par Ce que ça veut dire Quoi faire
Can't check yet Un fichier manque ou n’est pas du JSON valide (code de sortie 2) Créez les deux fichiers dans ch03-structured-output/out/
Header: ou missing field Le fichier n’est pas au format du cours, par exemple le fichier de trois lignes du livre Exécutez le banc d’essai du cours, qui écrit une ligne par appel
Expected Une partie n’a pas couvert chaque billet, ou la ligne de la troncature est absente Relancez le banc d’essai ; si vous avez écrit le vôtre, consignez l’appel tronqué dans sa branche except
doesn't recompute L’en-tête et les lignes ne concordent pas Relancez ; ne modifiez pas le fichier
The truncation call returned a queue Son budget était assez grand pour terminer Relancez avec un --truncation-max-tokens plus bas
the answer is empty, stopped on 'max_tokens' ou Typed call Un appel d’acheminement ne s’est pas terminé Relancez avec un --max-tokens plus grand
Prediction Une valeur est hors de l’intervalle, ou datée d’après le premier appel Prédisez de nouveau, puis exécutez de nouveau

Deux exécutions enregistrées auxquelles comparer la vôtre. Dans l’exécution du livre sur claude-opus-4-6, le routeur non typé était propre sur 10 sur 10 billets, le routeur typé a renvoyé une valeur sur 10 sur 10 avec la même file chaque fois, et l’appel tronqué a levé Invalid JSON: EOF while parsing a string at line 1 column 10 (runs/ch3-router-typed-2026-10-14.txt). Dans l’exécution du cours sur claude-opus-5, il y en a eu 10 sur 10 propres, 10 sur 10 typés, la même file sur 9 sur 10, et l’appel tronqué a levé Invalid JSON: EOF while parsing a string at line 1 column 5 (runs/ch3-course-route-typed-2026-11-20.txt). La vôtre sera différente. Dites en quoi, et pourquoi selon vous.

Inscrire votre résultat

Exécutez ch3_course_check.py sur votre machine, puis collez tout ce qu’il a affiché. La page lit la première ligne (Module 3 check: PASS ou FAIL) et garde le résultat dans ce navigateur. Ne collez pas de clé d’API ; le script n’en affiche jamais.

Aucun résultat inscrit pour l’instant.