Module 1 · Test pratique
Mesurer l’éventail sur votre propre modèle
Vous l’exécutez sur votre propre machine avec votre propre clé d’API. Rien de ce que vous exécutez n’est envoyé à ce site.
Obtenir les fichiers
Tout ce que ce test vous demande d’exécuter tient dans un seul téléchargement, organisé exactement comme dans le dépôt compagnon : chaque commande des étapes fonctionne depuis le dossier décompressé.
Télécharger la trousse du module 1 (zip, 9 fichiers)
ch01-sampling/ch1_course_sampling.pych01-sampling/ch1_course_check.pych01-sampling/ch1_sampling.pych01-sampling/run-2026-09-07.txtch01-sampling/run-2026-09-07.jsonlch01-sampling/course-run-2026-11-08-mt1000.txtch01-sampling/course-run-2026-11-08-mt1000.jsonlch01-sampling/course-prediction-2026-11-08-mt1000.jsonch01-sampling/course-check-2026-11-08-mt1000.txt
Décompressez-la, ouvrez un terminal dans module-1-kit, créez un environnement virtuel Python 3.12 et installez ce dont les modules 1 à 4 ont besoin :
pip install anthropic==1.2.0 pydantic==2.13.5
Ces deux versions épinglées sont lues dans le requirements.txt de la trousse, qui liste aussi des paquets utilisés seulement par les modules suivants. Le dépôt compagnon n’est pas encore ouvert aux apprenants du pilote : utilisez ce téléchargement partout où les étapes disent « dépôt compagnon ».
Essayez la vérification avant de dépenser quoi que ce soit. Cette commande l’exécute sur l’exécution enregistrée du cours et n’a besoin d’aucune clé :
python ch01-sampling/ch1_course_check.py --run ch01-sampling/course-run-2026-11-08-mt1000.jsonl --prediction ch01-sampling/course-prediction-2026-11-08-mt1000.json
Elle devrait afficher Module 1 check: PASS. C’est le résultat du cours, pas le vôtre : ne l’inscrivez pas plus bas.
Ce que vous allez faire
Prédire combien de réponses distinctes un modèle actuel donne à une même requête sur 20 appels, l’exécuter avec votre propre clé d’API, et réussir le script de vérification. Vous exécutez seulement le volet en échantillonnage par défaut. La comparaison avec la température vient de l’exécution enregistrée étudiée à la leçon 1, parce que les modèles actuels rejettent ce réglage (leçon 2).
Ce cours s’adresse aux personnes de 18 ans ou plus.
Coût
Vous utilisez votre propre clé d’API ; c’est donc vous qui payez cette exécution.
| Élément | Valeur | Source |
|---|---|---|
| Appels | 20 | runs/ch1-sampling-2026-09-07.txt |
| Jetons d’entrée, exécution du cours | 820 | runs/ch1-course-sampling-2026-11-08-mt1000.txt |
| Jetons de sortie, exécution du cours | 6,636, dont 4,619 de réflexion et 2,017 de réponse | même fichier |
| Coût de cette exécution | $0.17 | BOOK.md, constats mesurés, aux tarifs Opus de COST.md |
Cette exécution a été faite sur claude-opus-5 le 2026-11-08 avec un max_tokens de 1000. La vôtre dépend du modèle choisi, de la quantité de réflexion qu’il produit et des prix du jour. Multipliez vos propres décomptes de jetons par les tarifs en vigueur ; ne présentez pas ce montant comme le vôtre.
Étapes
Travaillez dans le dépôt compagnon, sanovinci/dev-to-ai-engineer-runs, à partir de son dossier principal.
- Créez un environnement virtuel Python 3.12 et installez
requirements.txt. - Définissez
ANTHROPIC_API_KEYavec votre propre clé. Ne la versionnez jamais et ne la collez jamais dans un fichier du dépôt. - Choisissez un identifiant de modèle actuel dans la liste des modèles d’Anthropic.
-
Prédisez. Choisissez votre nombre avant d’exécuter quoi que ce soit :
python ch01-sampling/ch1_course_sampling.py predict --unique <your number> -
Exécutez :
python ch01-sampling/ch1_course_sampling.py run --model <model id> -
Vérifiez. Cette étape n’a besoin ni de clé ni de réseau :
python ch01-sampling/ch1_course_check.py -
Répondez par écrit aux deux questions de réflexion. Elles ne sont pas notées.
- Combien de réponses distinctes avez-vous obtenues, et à quelle distance étiez-vous de votre prédiction ?
- Lisez dix de vos réponses. Est-ce que deux d’entre elles veulent dire des choses différentes ?
Réussi quand
ch1_course_check.py affiche Module 1 check: PASS et se termine avec le code 0. Il réussit quel que soit le nombre de réponses distinctes. Il vérifie que :
- chaque enregistrement a tous ses champs, et les appels sont numérotés une seule fois chacun ;
- l’exécution est en échantillonnage par défaut seulement, sur un seul modèle, avec la requête et le
max_tokensdu module ; - chaque réponse correspond toujours à son hachage, donc le fichier n’a pas été modifié ;
- la consommation de jetons est journalisée pour chaque appel ;
- votre prédiction est un nombre entier dans l’intervalle et datée d’avant votre premier appel ;
- aucune réponse n’est vide et aucune ne s’est arrêtée sur
max_tokens.
Marquez ensuite le module comme terminé.
Si la vérification échoue
Le script énumère chaque problème avec le numéro de la vérification qui l’a détecté ; une seule exécution montre donc tout ce qu’il faut corriger. Ne modifiez pas run.jsonl ; refaites l’étape qui l’a produit.
| Le message commence par | Ce que ça veut dire | Quoi faire |
|---|---|---|
Can't check yet |
Un fichier manque ou n’est pas du JSON valide (code de sortie 2) | Faites l’étape de prédiction, puis l’étape d’exécution |
Expected ... calls |
L’exécution s’est arrêtée trop tôt | Refaites l’étape d’exécution |
text and hash don't match |
Le fichier a été modifié après l’exécution | Refaites l’étape d’exécution |
Your prediction ... is later than your first call |
Vous avez prédit après avoir exécuté | Prédisez de nouveau, puis exécutez de nouveau |
the answer is empty ou stopped on 'max_tokens' |
Le modèle a dépensé le budget à réfléchir | Utilisez le banc d’essai actuel ; il règle le budget plus grand |
Si vous n’obtenez qu’une seule réponse distincte, c’est aussi un résultat. Un système qui se répète la première fois qu’on l’observe reste un système d’échantillonnage.
Inscrire votre résultat
Exécutez ch1_course_check.py sur votre machine, puis collez tout ce qu’il a affiché. La page lit la première ligne
(Module 1 check: PASS ou FAIL) et garde le résultat dans ce navigateur. Ne collez pas de clé d’API ; le script n’en affiche jamais.
Aucun résultat inscrit pour l’instant.