Même consigne, résultat différent : comprendre l'écart et le transformer en méthode

L'instabilité est une propriété de l'outil, pas une panne

Un assistant conversationnel ne va pas chercher une réponse rangée quelque part : il construit son texte mot à mot, en estimant à chaque étape les suites probables et en tirant l'une d'elles. Deux exécutions de la même consigne empruntent donc deux chemins voisins, qui s'écartent d'autant plus que la réponse est longue. La documentation Microsoft Learn sur la reproductibilité illustre ce point avec trois réponses successives à une question identique : les premières phrases se ressemblent, puis les versions divergent.

La même page précise que le déterminisme n'est pas garanti, y compris lorsque la graine aléatoire et la configuration technique sont identiques d'un appel à l'autre. Côté Claude, la documentation de l'API signale le paramètre temperature comme obsolète : les modèles sortis après Claude Opus 4.6 ne permettent plus de le définir. Trois causes plus prosaïques s'ajoutent à cela : la version du modèle a pu changer entre vos essais, votre consigne n'est peut-être pas strictement identique (copier-coller, pièce jointe absente, tournure retouchée), et l'historique du fil sert de contexte.

Le protocole des trois essais : observer avant de corriger

Le réflexe le plus coûteux consiste à réécrire la consigne dès qu'une réponse déçoit : vous corrigez alors une impression tirée d'un exemplaire unique. La méthode inverse demande dix minutes et rend la correction ciblée : produire volontairement plusieurs versions, les comparer à une grille écrite à l'avance, puis ne modifier la consigne qu'en face d'un écart constaté.

Cette séquence d'analyse et d'itération fait partie du travail abordé dans la formation Intelligence Artificielle.

• Écrivez vos critères avant de lire quoi que ce soit : longueur, rubriques obligatoires, ton, données autorisées, interdictions explicites.
• Ouvrez trois conversations neuves et collez exactement la même consigne dans chacune, le même jour, sur la même plateforme.
• Comparez les trois sorties critère par critère, en cochant respecté ou non respecté, sans chercher laquelle vous préférez.
• Classez l'écart : variation de surface, de structure, ou de fond sur les faits.
• Ne modifiez qu'un seul élément, relancez trois essais, puis archivez la consigne retenue avec sa date et sa grille.

Quel écart révèle quoi, et que corriger

Tous les écarts ne se traitent pas de la même façon, et certains ne se traitent pas du tout. Ce tableau sert de grille de lecture après vos trois essais : vous identifiez la ligne correspondante, vous appliquez l'action, vous relancez.

Mise en situation entièrement fictive : la note de compte rendu

Les éléments qui suivent sont inventés pour l'exercice ; ils ne mesurent aucune performance. Pour reproduire l'exercice, n'utilisez qu'un jeu de données fictif et ne saisissez aucune information confidentielle ni donnée personnelle dans l'outil. Imaginons Ferralux, fabricant fictif de garde-corps métalliques. Un commercial imaginaire a écrit une consigne transformant ses notes de visite en compte rendu : rôle, contenu attendu, puis ses notes brutes collées à la suite. Lundi, la sortie lui convient : cinq lignes, trois prochaines étapes datées. Jeudi, avec la même consigne, il obtient un paragraphe continu de quinze lignes mentionnant un budget prévisionnel absent de ses notes.

Il applique le protocole et écrit sa grille : huit lignes au maximum, trois rubriques nommées Besoin, Objections, Prochaines étapes, aucune donnée absente des notes. Les trois essais donnent trois structures différentes — une liste, un paragraphe, un tableau. Le diagnostic est immédiat : la consigne décrivait le contenu, jamais la forme, et n'interdisait aucun ajout. Il corrige une chose à la fois : d'abord les trois titres imposés dans l'ordre, limités à deux phrases chacun, ce qui stabilise la structure tandis que les tournures continuent de varier ; ensuite une interdiction explicite du type « n'ajoute aucune information absente des notes ci-dessous et signale plutôt les informations manquantes », après quoi le budget inventé disparaît. Ce qui a changé n'est pas l'outil, c'est le niveau de précision de la demande.

Les erreurs fréquentes face à un écart

La plupart des mauvais réflexes consistent à traiter la variabilité comme un incident isolé, ce qui conduit à beaucoup d'essais et peu d'apprentissage.

• Relancer jusqu'à obtenir la version qui plaît, sans noter ce qui a été modifié : le réglage gagnant ne sera pas reproductible.
• Changer trois choses à la fois : vous ignorez laquelle a produit l'effet.
• Juger sur un essai unique, en bien comme en mal : une bonne sortie isolée crée une confiance aussi trompeuse qu'une mauvaise crée un rejet.
• Confondre variabilité et erreur : une reformulation différente mais exacte et complète ne justifie aucune réécriture.
• Réutiliser sans contrôle une consigne écrite plusieurs mois plus tôt, alors que la version du modèle a pu évoluer entre-temps.