Measured Academy Measured Academy
English Pilote Progression 0

Module 1 · Leçon 4 sur 4

Prédire, exécuter, comparer

  1. Ce qui s’est passéL’auteur a prédit le nombre de réponses distinctes avant chaque exécution du cours et s’est trompé les deux fois, de beaucoup.
  2. Pourquoi ça a changéUne prédiction faite avant une exécution révèle ce que vous croyiez ; une prédiction faite après est façonnée par le résultat.
  3. Comment on le mesureUn fichier de prédiction dont l’horodatage précède le premier appel, comparé par le script de vérification au décompte du fichier d’exécution.
  4. Comment l’améliorerÉcrire la prédiction d’abord, enregistrer la sortie brute, rapporter l’écart, et laisser un script faire la comparaison.
Curseur

Votre estimation face à l’enregistrement

Essayez. Placez le curseur sur votre propre prédiction du nombre de réponses distinctes sur un modèle actuel, puis dévoilez l’enregistrement. Vous ne pourrez plus changer votre nombre ensuite.

D’où viennent ces données · claude-opus-5 · 2026-11-08

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch1-course-prediction-2026-11-08-mt1000.json
  • runs/ch1-course-check-2026-11-08-mt1000.txt
  • runs/ch1-sampling-2026-09-07.txt

Ce qui s’est passé

Avant l’exécution du cours sur claude-opus-5, une prédiction a été écrite dans un fichier : 12 réponses distinctes. L’exécution en a donné 20 sur 20. Le script de vérification a affiché l’écart, soit 8 (runs/ch1-course-check-2026-11-08-mt1000.txt).

La vérification a quand même réussi. Se tromper sur le décompte n’est pas un échec dans ce cours. Ne pas avoir écrit la prédiction, si.

Essayez maintenant avec le curseur ci-dessus, avant de regarder quoi que ce soit d’autre sur cette page. Puis dévoilez.

Pourquoi ça a changé

Comparez deux façons d’accueillir ce résultat :

Sans prédiction Avec une prédiction consignée d’abord
Vous voyez le décompte et il semble raisonnable Vous voyez le décompte à côté du nombre sur lequel vous vous êtes engagé
« Les modèles récents varient davantage, évidemment » « Je m’attendais à environ la moitié de la variation obtenue »
Rien à creuser Une question précise : qu’est-ce que j’ai supposé à tort ?

L’exécution est identique dans les deux colonnes. Seule la deuxième vous apprend quelque chose, parce que le recul n’a rien à réécrire.

L’exécution du livre sur l’ancien modèle a donné 10 sur 20 (runs/ch1-sampling-2026-09-07.txt). Une personne raisonnable aurait estimé un nombre proche pour le nouveau. L’enregistrement dit le contraire, et c’est maintenant un fait accompagné d’un modèle et d’une date.

Comment on le mesure

Chaque module de ce cours suit les mêmes trois étapes, et le script de vérification impose leur ordre :

  1. Prédire. Le banc d’essai écrit prediction.json avec votre nombre et un horodatage UTC.
  2. Exécuter. De vrais appels sur votre clé, enregistrés à raison d’une ligne par appel, avec le texte, le hachage, la raison d’arrêt et la consommation de jetons. Le banc d’essai refuse de démarrer sans prédiction.
  3. Comparer. Le script de vérification confirme que la prédiction est datée d’avant le premier appel, recalcule le nombre de réponses distinctes à partir du fichier et affiche votre écart.

Le script vérifie aussi les éléments des trois premières leçons : l’ensemble complet des appels est présent, le volet par défaut seulement, le texte correspond à son hachage (le fichier n’a donc pas été modifié), aucune réponse n’est vide, aucune ne s’est arrêtée sur max_tokens.

Une limite, dite clairement : les horodatages viennent de votre propre machine. La vérification impose l’habitude, pas l’honnêteté. Quand ce test passera dans Measured Lab, le Lab consignera la prédiction de son côté.

Comment l’améliorer

  • Prédisez un nombre, pas une direction. « Plus que la dernière fois » ne peut jamais être assez faux pour vous apprendre quelque chose.
  • Enregistrez la sortie brute. Une capture d’écran ou un résumé collé ne se recalcule pas. Un fichier JSONL, oui.
  • Rapportez l’écart. Notez de combien vous vous êtes trompé et ce que vous aviez supposé. Le livre rapporte les constats qui ont contredit ses propres ébauches ; le cours vous demande la même chose.
  • Laissez un script comparer. Si la comparaison est manuelle, elle dérivera vers ce que vous espériez voir.

Vous êtes prêt pour le test pratique. L’exercice sur lequel il repose se trouve à la fin du chapitre 1 du livre.

Chaque nombre de cette leçon et le fichier d’où il vient (4)
ValeurFichier dans les enregistrements du livreConditions
12runs/ch1-course-check-2026-11-08-mt1000.txt
20 sur 20runs/ch1-course-check-2026-11-08-mt1000.txtclaude-opus-5, max_tokens 1000, 2026-11-08
8runs/ch1-course-check-2026-11-08-mt1000.txt
10 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07

Référence : Chapitre 1, « Hands-on exercise ».