Mesurer n'est pas corriger
Une flotte d'une cinquantaine de sous-agents spécialisés, tous notés : leur niveau se mesure, tâche par tâche. Et pourtant aucun ne corrige quoi que ce soit. Chaque erreur doit être rattrapée à la main, à chaque passage, indéfiniment.
C'est la confusion la plus fréquente sur le terrain : croire qu'évaluer un agent le fait progresser. Un bulletin de notes ne remplace pas un professeur. Ce qui manque n'est pas une meilleure métrique — c'est une boucle qui transforme l'erreur constatée en règle appliquée au passage suivant. Sans elle, la note ne fait que documenter la rechute.
À retenir — Noter un agent ne le corrige pas. Sans boucle de mémoire, la mesure ne fait que chiffrer la répétition.
Reflexion, et le piège que les tutoriels taisent
L'approche qui tient porte un nom : Reflexion (Shinn et al., 2023). Le principe tient en trois temps — l'agent écrit une auto-critique après un échec, cette critique est rangée dans une mémoire, et on la lui fait relire à froid avant la tâche suivante. Le gain mesuré dans l'article est réel : sur des tâches de raisonnement et de code, l'agent qui relit ses échecs dépasse nettement celui qui repart de zéro à chaque essai.
Le détail que les tutoriels sautent est celui qui fait tout basculer : la mémoire est un actif cumulatif. Une leçon juste améliore tous les passages suivants ; une leçon fausse les empoisonne tous, car ils la reliront comme une vérité établie. Une boucle d'apprentissage n'est donc pas seulement un mécanisme de progrès — c'est aussi un vecteur de contamination. La bonne question n'est pas « apprend-il ? » mais « qu'a-t-il le droit de graver ? ».
Un agent échoue à extraire un montant d'une facture. Il en conclut, à tort : « le total est toujours en bas à droite ». La leçon est gravée. Aux passages suivants, il ignore les factures où le total est en haut — non par erreur de lecture, mais parce que sa mémoire lui ordonne de regarder ailleurs. Une seule mauvaise généralisation, et le taux d'échec grimpe au lieu de baisser.
Pourquoi un modèle ne peut pas se juger seul
Le réflexe le plus naturel est aussi le plus dangereux : laisser le modèle critiquer sa propre sortie. Il ne le peut pas structurellement. Producteur et juge partagent alors le même modèle, donc les mêmes angles morts : ce que l'un n'a pas vu, l'autre ne le verra pas davantage. Pire, un générateur a un biais d'auto-complaisance — invité à évaluer son travail, il tend à se donner raison. Les travaux récents sur l'auto-évaluation des LLM le confirment : un modèle surestime largement ses propres réponses.
La conséquence est nette : l'auto-critique n'a de valeur que si un signal extérieur vient l'ancrer. Sans preuve venue du dehors, « l'agent réfléchit à son erreur » n'est qu'une mise en scène de la réflexion.
À retenir — Une leçon fausse est pire que pas de leçon : elle se propage. Et un modèle laissé seul juge de sa propre faute se donne raison.
La méthode : cinq verrous
- Deux temps distincts. Graver la leçon à chaud, dès l'erreur constatée en session ; consolider le récurrent à froid, entre les sessions. Réfléchir pendant la tâche fait dériver l'exécution ; la consolidation se fait mieux une fois l'action terminée.
- Un verrou de preuve. Une leçon ne s'écrit que par un point d'entrée unique, qui refuse toute leçon sans preuve extérieure : un recadrage humain, un test qui échoue, une vérification de faits ratée. Pas de preuve, pas de leçon — par construction, pas par discipline.
- Producteur et juge séparés. Quand aucune preuve d'exécution n'existe, c'est un évaluateur distinct qui tranche — jamais l'agent qui a produit l'erreur.
- Indexer là où l'agent relit vraiment. Une leçon rangée dans un fichier que l'agent ne charge jamais est un décor. Il faut vérifier qu'elle se trouve dans le contexte qu'il relit effectivement à froid.
- Prouver que la boucle tourne. Ouvrir la mémoire et constater qu'une leçon juste s'y est inscrite après un vrai échec. Tant que ce n'est pas constaté sur pièce, la boucle est une hypothèse, pas un mécanisme.
Le piège vécu : une boucle qui n'apprenait rien
La première version automatique de cette boucle, au studio, produisait un résultat sans appel : zéro leçon. Le mécanisme s'exécutait sans erreur apparente — mais il était branché sur un déclencheur qui ne se produisait jamais réellement, pendant que la capture manuelle, elle, avait déjà pris toute la matière au vol. La machine tournait à vide, et le tableau de bord affichait « actif ».
La leçon dépasse le cas : un mécanisme qui existe sur le papier n'apprend rien tant qu'on n'a pas prouvé qu'il se déclenche sur un cas réel. Présence n'est pas câblage ; un cron supposé n'est pas un cron qui tourne. C'est exactement l'écart qu'une boucle de mémoire est censée corriger — à condition d'être elle-même vérifiée.
Le droit de graver une leçon exige une preuve extérieure. Une boucle non vérifiée n'apprend rien — elle en donne seulement l'apparence.
Structurer l'apprentissage de ses propres agents est l'un des chantiers ouverts au studio Orogen. Écrire au studio pour en parler.