Measured Academy Measured Academy
English Pilote Progression 0

Module 1 · Test pratique

Mesurer l’éventail sur votre propre modèle

Vous l’exécutez sur votre propre machine avec votre propre clé d’API. Rien de ce que vous exécutez n’est envoyé à ce site.

Obtenir les fichiers

Tout ce que ce test vous demande d’exécuter tient dans un seul téléchargement, organisé exactement comme dans le dépôt compagnon : chaque commande des étapes fonctionne depuis le dossier décompressé.

Télécharger la trousse du module 1 (zip, 9 fichiers)

  • ch01-sampling/ch1_course_sampling.py
  • ch01-sampling/ch1_course_check.py
  • ch01-sampling/ch1_sampling.py
  • ch01-sampling/run-2026-09-07.txt
  • ch01-sampling/run-2026-09-07.jsonl
  • ch01-sampling/course-run-2026-11-08-mt1000.txt
  • ch01-sampling/course-run-2026-11-08-mt1000.jsonl
  • ch01-sampling/course-prediction-2026-11-08-mt1000.json
  • ch01-sampling/course-check-2026-11-08-mt1000.txt

Décompressez-la, ouvrez un terminal dans module-1-kit, créez un environnement virtuel Python 3.12 et installez ce dont les modules 1 à 4 ont besoin :

pip install anthropic==1.2.0 pydantic==2.13.5

Ces deux versions épinglées sont lues dans le requirements.txt de la trousse, qui liste aussi des paquets utilisés seulement par les modules suivants. Le dépôt compagnon n’est pas encore ouvert aux apprenants du pilote : utilisez ce téléchargement partout où les étapes disent « dépôt compagnon ».

Essayez la vérification avant de dépenser quoi que ce soit. Cette commande l’exécute sur l’exécution enregistrée du cours et n’a besoin d’aucune clé :

python ch01-sampling/ch1_course_check.py --run ch01-sampling/course-run-2026-11-08-mt1000.jsonl --prediction ch01-sampling/course-prediction-2026-11-08-mt1000.json

Elle devrait afficher Module 1 check: PASS. C’est le résultat du cours, pas le vôtre : ne l’inscrivez pas plus bas.

Ce que vous allez faire

Prédire combien de réponses distinctes un modèle actuel donne à une même requête sur 20 appels, l’exécuter avec votre propre clé d’API, et réussir le script de vérification. Vous exécutez seulement le volet en échantillonnage par défaut. La comparaison avec la température vient de l’exécution enregistrée étudiée à la leçon 1, parce que les modèles actuels rejettent ce réglage (leçon 2).

Ce cours s’adresse aux personnes de 18 ans ou plus.

Coût

Vous utilisez votre propre clé d’API ; c’est donc vous qui payez cette exécution.

Élément Valeur Source
Appels 20 runs/ch1-sampling-2026-09-07.txt
Jetons d’entrée, exécution du cours 820 runs/ch1-course-sampling-2026-11-08-mt1000.txt
Jetons de sortie, exécution du cours 6,636, dont 4,619 de réflexion et 2,017 de réponse même fichier
Coût de cette exécution $0.17 BOOK.md, constats mesurés, aux tarifs Opus de COST.md

Cette exécution a été faite sur claude-opus-5 le 2026-11-08 avec un max_tokens de 1000. La vôtre dépend du modèle choisi, de la quantité de réflexion qu’il produit et des prix du jour. Multipliez vos propres décomptes de jetons par les tarifs en vigueur ; ne présentez pas ce montant comme le vôtre.

Étapes

Travaillez dans le dépôt compagnon, sanovinci/dev-to-ai-engineer-runs, à partir de son dossier principal.

  1. Créez un environnement virtuel Python 3.12 et installez requirements.txt.
  2. Définissez ANTHROPIC_API_KEY avec votre propre clé. Ne la versionnez jamais et ne la collez jamais dans un fichier du dépôt.
  3. Choisissez un identifiant de modèle actuel dans la liste des modèles d’Anthropic.
  4. Prédisez. Choisissez votre nombre avant d’exécuter quoi que ce soit :

    python ch01-sampling/ch1_course_sampling.py predict --unique <your number>
    
  5. Exécutez :

    python ch01-sampling/ch1_course_sampling.py run --model <model id>
    
  6. Vérifiez. Cette étape n’a besoin ni de clé ni de réseau :

    python ch01-sampling/ch1_course_check.py
    
  7. Répondez par écrit aux deux questions de réflexion. Elles ne sont pas notées.

    • Combien de réponses distinctes avez-vous obtenues, et à quelle distance étiez-vous de votre prédiction ?
    • Lisez dix de vos réponses. Est-ce que deux d’entre elles veulent dire des choses différentes ?

Réussi quand

ch1_course_check.py affiche Module 1 check: PASS et se termine avec le code 0. Il réussit quel que soit le nombre de réponses distinctes. Il vérifie que :

  • chaque enregistrement a tous ses champs, et les appels sont numérotés une seule fois chacun ;
  • l’exécution est en échantillonnage par défaut seulement, sur un seul modèle, avec la requête et le max_tokens du module ;
  • chaque réponse correspond toujours à son hachage, donc le fichier n’a pas été modifié ;
  • la consommation de jetons est journalisée pour chaque appel ;
  • votre prédiction est un nombre entier dans l’intervalle et datée d’avant votre premier appel ;
  • aucune réponse n’est vide et aucune ne s’est arrêtée sur max_tokens.

Marquez ensuite le module comme terminé.

Si la vérification échoue

Le script énumère chaque problème avec le numéro de la vérification qui l’a détecté ; une seule exécution montre donc tout ce qu’il faut corriger. Ne modifiez pas run.jsonl ; refaites l’étape qui l’a produit.

Le message commence par Ce que ça veut dire Quoi faire
Can't check yet Un fichier manque ou n’est pas du JSON valide (code de sortie 2) Faites l’étape de prédiction, puis l’étape d’exécution
Expected ... calls L’exécution s’est arrêtée trop tôt Refaites l’étape d’exécution
text and hash don't match Le fichier a été modifié après l’exécution Refaites l’étape d’exécution
Your prediction ... is later than your first call Vous avez prédit après avoir exécuté Prédisez de nouveau, puis exécutez de nouveau
the answer is empty ou stopped on 'max_tokens' Le modèle a dépensé le budget à réfléchir Utilisez le banc d’essai actuel ; il règle le budget plus grand

Si vous n’obtenez qu’une seule réponse distincte, c’est aussi un résultat. Un système qui se répète la première fois qu’on l’observe reste un système d’échantillonnage.

Inscrire votre résultat

Exécutez ch1_course_check.py sur votre machine, puis collez tout ce qu’il a affiché. La page lit la première ligne (Module 1 check: PASS ou FAIL) et garde le résultat dans ce navigateur. Ne collez pas de clé d’API ; le script n’en affiche jamais.

Aucun résultat inscrit pour l’instant.