Measured Academy Measured Academy
English Pilote Progression 0

Module 1 · Leçon 1 sur 4

Même requête, réponses différentes

  1. Ce qui s’est passéUne même requête, envoyée à répétition au même modèle, est revenue sous la forme de plusieurs chaînes différentes.
  2. Pourquoi ça a changéChaque réponse est un tirage dans une distribution sur les jetons suivants ; une entrée identique ne fixe donc pas la sortie.
  3. Comment on le mesureHacher chaque réponse épurée, compter les hachages distincts sur un nombre d’appels fixé, et noter combien de fois la réponse la plus fréquente est apparue.
  4. Comment l’améliorerCesser d’affirmer l’égalité du texte d’un modèle ; décider quelle propriété doit tenir et mesurer à quelle fréquence elle tient.
Côte à côte

L’éventail, condition par condition

Essayez. Dévoilez les appels un à un, ou faites glisser le curseur. Passez ensuite de l’échantillonnage par défaut à la température 0 et comparez les deux formes au même nombre d’appels.

D’où viennent ces données · claude-opus-4-6 · 2026-09-07

Lu dans les enregistrements du livre. Rien ici n’est simulé. Les requêtes, les billets, les réponses des modèles et les messages d’erreur restent en anglais, tels qu’ils ont été envoyés et reçus.

  • runs/ch1-sampling-2026-09-07.jsonl
  • runs/ch1-sampling-2026-09-07.txt

Ce qui s’est passé

Le 2026-09-07, une même requête a été envoyée à claude-opus-4-6 20 fois de suite, sans rien changer entre les appels. La requête demande ce que vous vérifieriez en premier quand un client dit qu’une facture est erronée sans dire en quoi. On pourrait s’attendre à recevoir une seule réponse, répétée. Le fichier d’exécution montre 10 sur 20 réponses distinctes. La plus fréquente est revenue 8 fois.

Les mêmes 20 appels ont ensuite été refaits avec la température fixée à zéro, le réglage qu’on choisit presque toujours quand on veut de la répétabilité.

Condition Réponses distinctes Réponse la plus fréquente vue
Échantillonnage par défaut 10 sur 20 8 fois
Température zéro 4 sur 20 12 fois

Source des deux lignes : runs/ch1-sampling-2026-09-07.txt. Fixer le réglage a resserré l’éventail. Il ne l’a pas réduit à une seule réponse.

Servez-vous de l’explorateur d’éventail ci-dessus pour dévoiler les appels un à un. Remarquez à quel point le deuxième panier s’ouvre tôt dans chaque condition.

Pourquoi ça a changé

Rien n’a changé dans votre code, et c’est justement le propos. Une fonction que vous écrivez associe une entrée à une sortie. Un appel à un modèle associe une entrée à une distribution et vous remet un tirage de celle-ci. Renvoyez la même entrée et vous obtenez un autre tirage.

La température remodèle cette distribution pour que la suite la plus probable l’emporte plus souvent. C’est un bouton de réglage sur le tirage, pas un interrupteur qui le supprime. La deuxième ligne du tableau montre à quoi ça ressemble dans un enregistrement.

Une autre chose a bougé, et elle passe facilement inaperçue. Un essai antérieur de la même expérience, le 2026-08-27, a donné 3 sur 20 à température zéro, là où celle-ci a donné 4 sur 20 (BOOK.md, constats mesurés ; le fichier de cet essai n’a pas été conservé, alors traitez-le comme une note et non comme une preuve). La mesure de la variation varie, elle aussi.

Comment on le mesure

La méthode est assez petite pour la garder en tête :

  1. Fixez la requête, le modèle et le nombre d’appels avant de commencer.
  2. Épurez chaque réponse et hachez-la. Deux réponses sont « les mêmes » seulement si leurs hachages concordent.
  3. Rapportez deux nombres : combien de hachages distincts, et combien de fois le plus fréquent est apparu.
  4. Enregistrez chaque appel sur une ligne JSON avec son texte, son hachage, sa raison d’arrêt et sa consommation de jetons.

C’est la quatrième étape qui permet à quelqu’un d’autre de vérifier les trois premières. Les décomptes du tableau ci-dessus peuvent être recalculés à partir du fichier JSONL par n’importe qui, vous compris, en quelques lignes.

Compter les chaînes distinctes est un instrument grossier. Ça vous dit que les chaînes diffèrent. Ça ne vous dit pas si le sens diffère. La leçon 3 reprend ce point.

Comment l’améliorer

Vous ne corrigez rien, parce que rien n’est brisé. Vous changez ce que vous demandez à vos tests :

Si votre code fait ceci Il va Faites plutôt ceci
Affirme que la réponse est égale à une chaîne enregistrée Échouer sur une exécution où rien ne cloche Affirmez une propriété : la réponse nomme une file, s’analyse selon le type attendu, contient le fait requis
Met en cache selon le texte de la réponse Rater la plupart du temps Mettez en cache selon la requête, ou selon un résultat normalisé
Exécute une vérification une fois et s’y fie Présenter un seul tirage comme s’il était le comportement Exécutez-la plusieurs fois et rapportez un taux avec la taille de l’échantillon

Un nombre de réponses distinctes plus bas sur votre exécution n’est pas un meilleur résultat. C’est un échantillon plus petit du même comportement.

Lisez l’argument original au chapitre 1 du livre, puis passez à deux valeurs par défaut qui ont bougé.

Chaque nombre de cette leçon et le fichier d’où il vient (6)
ValeurFichier dans les enregistrements du livreConditions
20runs/ch1-sampling-2026-09-07.txt
10 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07
8runs/ch1-sampling-2026-09-07.txt
4 sur 20runs/ch1-sampling-2026-09-07.txtclaude-opus-4-6, 2026-09-07
12runs/ch1-sampling-2026-09-07.txt
3 sur 20BOOK.mdessai du 2026-08-27, fichier non conservé

Référence : Chapitre 1, « The concept » et « The tradeoff ».