Measured Academy Measured Academy
English Pilote Progression 0

Module 1 · Leçon 2 sur 4

Deux valeurs par défaut qui ont bougé

  1. Ce qui s’est passéEntre l’exécution du livre et celle du cours, le modèle actuel a rejeté le réglage de température et le modèle s’est mis à réfléchir avant de répondre.
  2. Pourquoi ça a changéLa signature du SDK et les valeurs par défaut du modèle sont versionnées, et les deux ont changé d’une version à l’autre.
  3. Comment on le mesureUn appel sonde consigne la classe d’erreur et le statut, et le banc d’essai journalise les jetons de réflexion séparément des jetons de réponse.
  4. Comment l’améliorerAssocier le modèle, la version du SDK et la date à chaque affirmation, journaliser la répartition de la sortie, et dimensionner max_tokens pour la réflexion plus la réponse.
Côte à côte

Le même banc d’essai, deux modèles

Essayez. Choisissez l’une des trois exécutions pour voir ce qui a été envoyé et ce qui est revenu. Cochez ensuite la case pour ajouter temperature 0 à cette requête et voir ce que l’enregistrement dit qu’il s’est passé.

D’où viennent ces données

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch1-sampling-2026-09-07.jsonl
  • runs/ch1-course-sampling-2026-11-08.jsonl
  • runs/ch1-course-sampling-2026-11-08-mt1000.jsonl
  • runs/ch1-course-temperature-probe-2026-11-08.txt

Ce qui s’est passé

La même expérience a été refaite pour ce cours le 2026-11-08, sur claude-opus-5. Deux choses vraies en septembre ne l’étaient plus.

Le volet température n’a pas pu s’exécuter. Un appel qui passait la température par extra_body est revenu avec le statut 400 et un message disant que le réglage est déprécié pour ce modèle (runs/ch1-course-temperature-probe-2026-11-08.txt).

Chaque réponse est revenue vide. Avec le max_tokens du livre, soit 100, 20 sur 20 réponses n’avaient aucun texte (BOOK.md, constats mesurés). Chaque appel s’est arrêté sur max_tokens. La première version du script de vérification de ce module a laissé passer cette exécution avec des avertissements.

Relever le budget à 1000 a réglé les réponses vides, et le résultat a encore différé de celui de septembre :

Exécution du livre, claude-opus-4-6 Exécution du cours, claude-opus-5
max_tokens 100 1000
Réponses distinctes, échantillonnage par défaut 10 sur 20 20 sur 20
Température zéro 4 sur 20 distinctes rejetée, statut 400
Source runs/ch1-sampling-2026-09-07.txt runs/ch1-course-check-2026-11-08-mt1000.txt

Pourquoi ça a changé

Deux couches distinctes ont bougé.

La première est le SDK. Le client Python a retiré temperature de la signature de messages.create à la version 1.0.0 ; le passer lève donc une TypeError avant qu’aucune requête ne parte (BOOK.md, constats mesurés). Pendant un temps, la valeur atteignait encore l’API par extra_body. La deuxième couche est le modèle : le modèle actuel refuse carrément le réglage.

Les réponses vides ont une autre cause. Le modèle actuel réfléchit avant de répondre, par défaut, et la réflexion se paie à même le budget max_tokens de la réponse. Avec le petit budget, la réflexion l’a épuisé au complet. Il ne restait rien pour le texte.

Aucun de ces changements ne s’est annoncé par une exception dans votre propre code. L’un est arrivé sous forme de requête rejetée. L’autre est arrivé sous forme de requête réussie, mais vide, et c’est le plus dangereux des deux.

Comment on le mesure

Trois petits instruments, que vous pouvez lire chacun dans le dépôt compagnon :

  • Une sonde. Un seul appel avec le réglage suspect, qui enregistre la classe d’erreur, le statut et le message. C’est toute la preuve sur la température.
  • La raison d’arrêt. Chaque enregistrement porte stop_reason. Une exécution où chaque appel s’est arrêté sur max_tokens vous dit que le budget a été épuisé, quelle que soit l’apparence du texte.
  • La répartition de la sortie. Le banc d’essai du cours soustrait les jetons de réflexion des jetons de sortie pour chaque appel. Sur l’exécution du cours, 4,619 des 6,636 jetons de sortie étaient de la réflexion et 2,017 de la réponse (runs/ch1-course-sampling-2026-11-08-mt1000.txt). BOOK.md le consigne comme 70% de réflexion.

C’est dans la réflexion que la plus grande partie de l’argent est passée. L’exécution a coûté $0.17 au total (BOOK.md, constats mesurés, aux tarifs Opus indiqués dans COST.md), contre $0.04 pour les deux volets de l’exécution du livre sur l’ancien modèle (COST.md, ligne Ch 1).

Comment l’améliorer

  • Datez vos affirmations. « La température zéro resserre l’éventail » est vrai pour un modèle à une date. Écrivez le modèle, la version du SDK et la date à côté. Ce cours le fait pour chaque nombre, et le script de vérification affiche le modèle que vous avez utilisé.
  • Ne lisez jamais le premier bloc de contenu à l’aveugle. Sur un modèle qui réfléchit, le premier bloc n’est pas forcément du texte. Trouvez le bloc de texte.
  • Prévoyez un budget pour la réflexion. Réglez max_tokens pour la réflexion plus la réponse, et traitez un arrêt sur max_tokens comme un échec tant que vous ne l’avez pas examiné.
  • Échouez sur le vide. Une réponse vide devrait faire échouer une vérification, pas seulement avertir. Le script de vérification actuel fait échouer à la fois une réponse vide et un arrêt sur max_tokens.
  • Journalisez la répartition. Si vous ne journalisez que les jetons de sortie, vous ne pouvez pas dire ce que vous avez payé.

L’affirmation datée sur le SDK se trouve au chapitre 1 du livre, sous « Edge cases ». Suite : les chaînes varient, le sens tient.

Chaque nombre de cette leçon et le fichier d’où il vient (14)
ValeurFichier dans les enregistrements du livreConditions
400runs/ch1-course-temperature-probe-2026-11-08.txtclaude-opus-5, 2026-11-08
100runs/ch1-sampling-2026-09-07.txt
20 sur 20BOOK.mdclaude-opus-5, max_tokens 100, 2026-11-08
1000runs/ch1-course-sampling-2026-11-08-mt1000.txt
10 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07
20 sur 20runs/ch1-course-check-2026-11-08-mt1000.txtclaude-opus-5, max_tokens 1000, 2026-11-08
4 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07
1.0.0BOOK.md
4,619runs/ch1-course-sampling-2026-11-08-mt1000.txt
6,636runs/ch1-course-sampling-2026-11-08-mt1000.txt
2,017runs/ch1-course-sampling-2026-11-08-mt1000.txt
70%BOOK.md
$0.17BOOK.mdclaude-opus-5, tarifs Opus de COST.md, 2026-11-08
$0.04COST.mdclaude-opus-4-6, les deux volets, 2026-09-07

Référence : Chapitre 1, « Edge cases » (l’affirmation datée sur le SDK).