Module 1 · Leçon 2 sur 4
Deux valeurs par défaut qui ont bougé
- Ce qui s’est passéEntre l’exécution du livre et celle du cours, le modèle actuel a rejeté le réglage de température et le modèle s’est mis à réfléchir avant de répondre.
- Pourquoi ça a changéLa signature du SDK et les valeurs par défaut du modèle sont versionnées, et les deux ont changé d’une version à l’autre.
- Comment on le mesureUn appel sonde consigne la classe d’erreur et le statut, et le banc d’essai journalise les jetons de réflexion séparément des jetons de réponse.
- Comment l’améliorerAssocier le modèle, la version du SDK et la date à chaque affirmation, journaliser la répartition de la sortie, et dimensionner max_tokens pour la réflexion plus la réponse.
Le même banc d’essai, deux modèles
Essayez. Choisissez l’une des trois exécutions pour voir ce qui a été envoyé et ce qui est revenu. Cochez ensuite la case pour ajouter temperature 0 à cette requête et voir ce que l’enregistrement dit qu’il s’est passé.
D’où viennent ces données
Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.
runs/ch1-sampling-2026-09-07.jsonlruns/ch1-course-sampling-2026-11-08.jsonlruns/ch1-course-sampling-2026-11-08-mt1000.jsonlruns/ch1-course-temperature-probe-2026-11-08.txt
Ce qui s’est passé
La même expérience a été refaite pour ce cours le 2026-11-08, sur claude-opus-5. Deux choses vraies en septembre ne l’étaient plus.
Le volet température n’a pas pu s’exécuter. Un appel qui passait la température par extra_body est revenu avec le statut 400 et un message disant que le réglage est déprécié pour ce modèle (runs/ch1-course-temperature-probe-2026-11-08.txt).
Chaque réponse est revenue vide. Avec le max_tokens du livre, soit 100, 20 sur 20 réponses n’avaient aucun texte (BOOK.md, constats mesurés). Chaque appel s’est arrêté sur max_tokens. La première version du script de vérification de ce module a laissé passer cette exécution avec des avertissements.
Relever le budget à 1000 a réglé les réponses vides, et le résultat a encore différé de celui de septembre :
Exécution du livre, claude-opus-4-6 |
Exécution du cours, claude-opus-5 |
|
|---|---|---|
max_tokens |
100 | 1000 |
| Réponses distinctes, échantillonnage par défaut | 10 sur 20 | 20 sur 20 |
| Température zéro | 4 sur 20 distinctes | rejetée, statut 400 |
| Source | runs/ch1-sampling-2026-09-07.txt |
runs/ch1-course-check-2026-11-08-mt1000.txt |
Pourquoi ça a changé
Deux couches distinctes ont bougé.
La première est le SDK. Le client Python a retiré temperature de la signature de messages.create à la version 1.0.0 ; le passer lève donc une TypeError avant qu’aucune requête ne parte (BOOK.md, constats mesurés). Pendant un temps, la valeur atteignait encore l’API par extra_body. La deuxième couche est le modèle : le modèle actuel refuse carrément le réglage.
Les réponses vides ont une autre cause. Le modèle actuel réfléchit avant de répondre, par défaut, et la réflexion se paie à même le budget max_tokens de la réponse. Avec le petit budget, la réflexion l’a épuisé au complet. Il ne restait rien pour le texte.
Aucun de ces changements ne s’est annoncé par une exception dans votre propre code. L’un est arrivé sous forme de requête rejetée. L’autre est arrivé sous forme de requête réussie, mais vide, et c’est le plus dangereux des deux.
Comment on le mesure
Trois petits instruments, que vous pouvez lire chacun dans le dépôt compagnon :
- Une sonde. Un seul appel avec le réglage suspect, qui enregistre la classe d’erreur, le statut et le message. C’est toute la preuve sur la température.
- La raison d’arrêt. Chaque enregistrement porte
stop_reason. Une exécution où chaque appel s’est arrêté surmax_tokensvous dit que le budget a été épuisé, quelle que soit l’apparence du texte. - La répartition de la sortie. Le banc d’essai du cours soustrait les jetons de réflexion des jetons de sortie pour chaque appel. Sur l’exécution du cours, 4,619 des 6,636 jetons de sortie étaient de la réflexion et 2,017 de la réponse (
runs/ch1-course-sampling-2026-11-08-mt1000.txt).BOOK.mdle consigne comme 70% de réflexion.
C’est dans la réflexion que la plus grande partie de l’argent est passée. L’exécution a coûté $0.17 au total (BOOK.md, constats mesurés, aux tarifs Opus indiqués dans COST.md), contre $0.04 pour les deux volets de l’exécution du livre sur l’ancien modèle (COST.md, ligne Ch 1).
Comment l’améliorer
- Datez vos affirmations. « La température zéro resserre l’éventail » est vrai pour un modèle à une date. Écrivez le modèle, la version du SDK et la date à côté. Ce cours le fait pour chaque nombre, et le script de vérification affiche le modèle que vous avez utilisé.
- Ne lisez jamais le premier bloc de contenu à l’aveugle. Sur un modèle qui réfléchit, le premier bloc n’est pas forcément du texte. Trouvez le bloc de texte.
- Prévoyez un budget pour la réflexion. Réglez
max_tokenspour la réflexion plus la réponse, et traitez un arrêt surmax_tokenscomme un échec tant que vous ne l’avez pas examiné. - Échouez sur le vide. Une réponse vide devrait faire échouer une vérification, pas seulement avertir. Le script de vérification actuel fait échouer à la fois une réponse vide et un arrêt sur
max_tokens. - Journalisez la répartition. Si vous ne journalisez que les jetons de sortie, vous ne pouvez pas dire ce que vous avez payé.
L’affirmation datée sur le SDK se trouve au chapitre 1 du livre, sous « Edge cases ». Suite : les chaînes varient, le sens tient.
Chaque nombre de cette leçon et le fichier d’où il vient (14)
| Valeur | Fichier dans les enregistrements du livre | Conditions |
|---|---|---|
| 400 | runs/ch1-course-temperature-probe-2026-11-08.txt | claude-opus-5, 2026-11-08 |
| 100 | runs/ch1-sampling-2026-09-07.txt | |
| 20 sur 20 | BOOK.md | claude-opus-5, max_tokens 100, 2026-11-08 |
| 1000 | runs/ch1-course-sampling-2026-11-08-mt1000.txt | |
| 10 sur 20 | runs/ch1-sampling-2026-09-07.txt | claude-opus-4-6, 2026-09-07 |
| 20 sur 20 | runs/ch1-course-check-2026-11-08-mt1000.txt | claude-opus-5, max_tokens 1000, 2026-11-08 |
| 4 sur 20 | runs/ch1-sampling-2026-09-07.txt | claude-opus-4-6, 2026-09-07 |
| 1.0.0 | BOOK.md | |
| 4,619 | runs/ch1-course-sampling-2026-11-08-mt1000.txt | |
| 6,636 | runs/ch1-course-sampling-2026-11-08-mt1000.txt | |
| 2,017 | runs/ch1-course-sampling-2026-11-08-mt1000.txt | |
| 70% | BOOK.md | |
| $0.17 | BOOK.md | claude-opus-5, tarifs Opus de COST.md, 2026-11-08 |
| $0.04 | COST.md | claude-opus-4-6, les deux volets, 2026-09-07 |
Référence : Chapitre 1, « Edge cases » (l’affirmation datée sur le SDK).