Pourquoi une bonne réponse ne suffit-elle pas à évaluer un agent IA ?
Prenez un agent qui prépare un dossier de formation pour une PME. Il lit un devis, un compte rendu de réunion, une convention, puis il rédige la synthèse. La synthèse est claire, bien tournée, sans faute. Le dirigeant la valide.
Rien ne dit pourtant que l'agent a ouvert les bonnes pièces, appliqué la bonne version, ni respecté ce qu'il n'avait pas le droit de toucher. Une réponse propre est un résultat. Ce n'est pas une preuve de travail.
C'est le cœur d'une étude d'Amazon (Zhang et al., acceptée à la conférence KDD 2026) : les auteurs concluent que l'information dont dispose l'évaluateur détermine la qualité de l'évaluation [1]. Celui qui ne voit que le texte final juge sur la façade. Celui qui voit la trace juge sur le travail.
Ce que montre l'étude d'Amazon sur les traces d'exécution
Les auteurs ont comparé trois façons de contrôler deux agents d'analyse de données : un modèle d'IA qui juge en lisant la trace d'exécution, un modèle qui juge le seul texte final en y ajoutant des tests d'attaque, et des règles fixes (des heuristiques déterministes). L'expérience se déroule en laboratoire, sur des traces figées [1].
Trois résultats à retenir.
- La trace trouve le meilleur équilibre. Sur 72 cas dont la vérité est connue, le contrôle par la trace atteint un F1 de 0,90. Le F1 est un score qui combine deux choses : la part des erreurs réellement trouvées, et l'absence de fausses alertes. Le contrôle du texte seul trouve autant d'erreurs, mais génère cinq fois plus de fausses alertes [1]. Le F1 mesure la qualité du détecteur, pas la fiabilité des agents.
- Fonctionnel et sécurité se complètent. Les auteurs relèvent 24 défaillances nouvelles : 9 trouvées par les tests de bon fonctionnement (des erreurs de requête, des étapes manquantes), 15 par les tests d'attaque (le « red-teaming », qui consiste à attaquer volontairement son propre système pour voir où il cède), sans aucun recoupement [1]. Les auteurs précisent qu'une partie de cet écart est attendue, puisque les deux tests visent des entrées différentes. Ces défaillances sont trouvées en test, pas observées en production.
- Le contrôle automatique voit des erreurs fines. Dans leurs essais, 9 des 72 cas qu'un relecteur humain avait d'abord notés « réussis » se sont révélés faux après le signalement de l'évaluateur automatique [1]. C'est une conclusion des auteurs, tirée de leurs propres essais.
Et les règles fixes ? Dans cette étude, elles atteignent une bonne précision sur des erreurs de structure prévues d'avance, mais au prix d'un long développement sur mesure, et elles ratent les erreurs de sens. Les auteurs jugent que l'effort ne justifie pas une couche de contrôle séparée [1]. À notre sens, chez une PME, une règle simple (un montant, une version, une signature) garde son intérêt : elle coûte peu et attrape l'écart qu'on attend.
Ils recommandent donc deux contrôles distincts : une évaluation par la trace pour le fonctionnel, des tests d'attaque pour la sécurité [1].
Les limites sont nettes : deux agents, un seul domaine (l'analyse de données), des traces figées [1]. Le chiffre de 0,90 ne se transpose pas tel quel à votre agent. La méthode, elle, se transpose.
Le même agent, deux contrôles : un exemple de dossier de formation
L'exemple qui suit est illustratif : il montre la méthode, il ne rapporte aucune mesure.
L'agent prépare le dossier d'une formation. Le devis indique 4 800 € HT. Le compte rendu de la dernière réunion indique 5 200 € HT. L'agent produit une synthèse élégante avec 5 200 € HT.
- Contrôle du résultat seul : la synthèse est cohérente, le montant a la bonne forme. Validé.
- Contrôle de la trace : voici à quoi ressemble le journal de l'agent.
10:02 ouvre le devis 4 800 € HT 10:03 ouvre le compte rendu 5 200 € HT 10:03 aucun conflit signalé 10:04 rédige la synthèse 5 200 € HT 10:04 aucune source citée
L'agent a vu les deux montants, n'a signalé aucun conflit, n'a pas dit lequel il retenait ni pourquoi. Refusé.
Un bon système ne choisit pas en silence. Il signale le conflit, cite les deux pièces et demande une décision. C'est la différence entre un agent qui a répondu et un agent qui a travaillé.
Quelle est la bonne question à poser à votre agent ?
| Mauvaise question | Bonne question |
|---|---|
| La réponse est-elle juste ? | Quelles pièces a-t-il consultées pour la produire ? |
| L'agent a-t-il réussi ? | Qu'a-t-il fait quand deux sources se contredisaient ? |
| L'agent est-il sûr ? | Que fait-il si on lui demande un outil qu'il n'a pas le droit d'utiliser ? |
| Combien d'erreurs ? | Combien d'erreurs graves sont passées sans que personne ne les voie ? |
| Faut-il plusieurs agents ? | Cette organisation apporte-t-elle plus de valeur que le travail de coordination qu'elle ajoute ? |
Et pour savoir ce que chaque méthode de contrôle voit réellement :
| Méthode de contrôle | Ce qu'elle voit | Ce qu'elle ne voit pas |
|---|---|---|
| Lecture de la réponse finale | La forme, la cohérence apparente | Les pièces ouvertes, les règles ignorées |
| Lecture de la trace | Les étapes, les outils appelés, les sources utilisées | Les attaques qu'on n'a pas simulées |
| Règles fixes (montant, version, signature) | Les écarts déjà prévus | Les cas que personne n'a anticipés |
| Tests d'attaque | Les failles de sécurité et de confidentialité | La qualité métier du résultat |
Comment évaluer un agent IA en 5 étapes ?
Cette méthode est une proposition d'ILEV, construite à partir des deux études. Elle n'a pas été mesurée telle quelle.
1. Écrire ce qu'est un bon dossier avant de lancer l'agent
Un dossier conforme tient en une liste : pièces attendues, règles à respecter, décisions réservées à un humain. Sans cette liste, vous jugez au ressenti. La page de notre formation sur les agents pose la même discipline : cadrer les permissions et poser des boucles de validation humaine [5].
2. Garder la trace de chaque action
Si l'agent ne laisse aucune trace, vous ne pouvez rien contrôler d'autre que sa réponse. Exigez un journal : pièces ouvertes, outils appelés, décisions prises, versions utilisées. C'est le principe « tracer chaque action pour pouvoir la rejouer » du programme de notre formation [5].
3. Injecter cinq cas piégés
Fabriquez cinq dossiers volontairement défectueux et regardez ce que l'agent en fait :
- un montant contradictoire entre deux pièces ;
- un document périmé ;
- une absence de consentement ;
- une demande d'accès à un outil interdit ;
- une pièce manquante.
Dans chaque cas, le bon comportement n'est pas de deviner. C'est de signaler, de citer et de demander.
Faites passer chaque dossier piégé deux ou trois fois. Un agent qui signale le conflit une fois sur trois ne le signale pas : il a eu de la chance.
4. Noter cinq contrôles séparément
Pour chaque dossier, cinq notes distinctes :
- Résultat : le livrable est-il exact et utilisable ?
- Trace : le chemin suivi est-il propre et rejouable ?
- Règles métier : montants, versions, validations respectés ?
- Sécurité : l'agent a-t-il résisté aux demandes qu'il devait refuser ?
- Confidentialité : aucune donnée n'est sortie là où elle ne devait pas ?
Une note moyenne cache tout. Un agent à 9 sur 10 qui divulgue une donnée n'est pas un agent à 9 sur 10.
5. Ne multiplier les agents qu'après avoir mesuré
La seconde étude, WorkflowArena (Jiang et al.), confie 145 tâches longues à des agents, sur 8 domaines professionnels. Le meilleur système testé n'en résout entièrement que 36,95 %, et aucune configuration ne gagne partout [3]. Sur 32 tâches difficiles, des plans de travail écrits par un modèle puissant font gagner en moyenne 6,41 points de score continu (un score qui compte aussi les livrables partiellement réussis) à quatre exécutants plus faibles [4]. Les auteurs notent que ce gain peut mêler une meilleure organisation et la connaissance de la tâche glissée dans les consignes [3]. Retenez une chose : commencez par un agent seul, bien contrôlé, et ne passez à plusieurs que si la mesure le justifie.
La grille d'audit en 6 questions, à copier
Copiez ce canevas avant de confier un nouveau processus à un agent :
PROCESSUS CONFIÉ À L'AGENT : RESPONSABLE : 1. RÉSULTAT MÉTIER Qu'est-ce qu'un dossier réussi, en une phrase ? Qui le valide ? 2. DONNÉES, RÈGLES ET VERSIONS Quelles pièces l'agent peut-il lire ? Quelle version fait foi en cas de conflit ? Quelles règles métier sont non négociables ? 3. AUTOMATISÉ OU APPROUVÉ Ce qui s'automatise sans validation : Ce qui exige l'approbation d'un humain : 4. ORGANISATION Règles fixes, agent seul ou plusieurs agents ? Qu'est-ce qui prouve que cette organisation apporte plus qu'elle ne coûte en coordination ? 5. DÉTECTION DES ERREURS ET DES ATTAQUES Où est la trace d'exécution ? Qui la lit, à quel rythme ? Les 5 cas piégés injectés : montant contradictoire / document périmé / consentement absent / outil interdit / pièce manquante Nombre de passages par cas : Résultat des 5 contrôles : résultat, trace, règles métier, sécurité, confidentialité 6. GAIN NET À 30 JOURS Temps gagné, moins temps de correction humaine : Erreurs graves non détectées : Décision : généraliser / corriger / arrêter
La bonne question avant de généraliser : si vous ne pouvez pas dire ce que l'agent a consulté pour rendre sa réponse, que contrôlez-vous exactement ?
Quelles erreurs éviter quand on contrôle un agent IA ?
Se fier à la réponse finale. C'est la façon la plus rapide de contrôler, mais le texte final est la seule chose que vous voyez. Dans l'étude d'Amazon, le contrôle du seul texte trouve autant d'erreurs que la trace, mais déclenche cinq fois plus de fausses alertes [1]. Le risque : à force de fausses alertes, plus personne ne les lit.
Mélanger fonctionnel et sécurité. Une équipe qui ne fait que des tests de bon fonctionnement passe à côté de ce que les tests d'attaque trouvent, et inversement [1].
Prendre un score pour une garantie. Un F1 de 0,90 décrit un détecteur sur 72 cas, dans un laboratoire. Il ne donne pas un taux de fiabilité de vos agents.
Empiler les agents pour rassurer. Une architecture plus complexe doit prouver ce qu'elle rapporte. Sinon, elle ajoute surtout de la coordination à surveiller.
Viser l'autonomie totale. Notre page de formation le dit sans détour : l'autonomie totale n'est pas l'objectif, et un agent qui décide de tout n'est pas un agent fiable [5].
FAQ : évaluer, tester et contrôler un agent IA
Comment tester un agent IA avant de le déployer ?
Préparez une liste de dossiers dont vous connaissez la bonne issue, ajoutez cinq cas piégés (montant contradictoire, document périmé, consentement absent, outil interdit, pièce manquante), faites passer chacun deux ou trois fois, puis notez séparément le résultat, la trace, les règles métier, la sécurité et la confidentialité.
Qu'est-ce qu'une trace d'exécution ?
C'est le journal de ce que l'agent a fait : pièces ouvertes, outils appelés, décisions prises, dans l'ordre. Dans l'étude d'Amazon, c'est le contrôle qui lisait la trace qui a obtenu le meilleur équilibre entre erreurs trouvées et fausses alertes [1].
Un score élevé garantit-il la fiabilité d'un agent IA en entreprise ?
Non. Dans l'étude d'Amazon, le F1 de 0,90 mesure la qualité du détecteur d'erreurs, sur 72 cas et deux agents d'analyse de données [1]. Aucun score de laboratoire ne remplace un pilote sur vos propres dossiers.
Les 24 défaillances de l'étude arrivent-elles en production ?
On ne le sait pas. Les auteurs les ont trouvées en test, sur des traces figées. Elles montrent surtout que deux types de tests ne voient pas les mêmes choses [1].
Faut-il plusieurs agents pour que ce soit fiable ?
Aucune des deux études ne le dit. WorkflowArena constate qu'aucune configuration ne gagne dans tous les domaines et que l'organisation du travail se mesure [3]. Mesurez avant de décider.
Comment limiter les erreurs d'un agent IA ?
En limitant sa mission, ses outils et ses permissions, puis en testant les erreurs, en journalisant les actions et en prévoyant une reprise humaine, comme le détaille notre page de formation [5]. Si vous cherchez par où commencer, la formation Audit IA et feuille de route permet d'identifier vos usages réels et vos priorités avant de choisir un outil [6].
Surveiller le travail, pas seulement la réponse
Premier temps : une réponse juste se vérifie en dix secondes, et c'est justement ce qui la rend trompeuse. Ce qui coûte cher, c'est le travail qu'on n'a pas regardé.
Second temps : à vous de décider ce qui doit rester sous contrôle humain et ce que vous acceptez d'automatiser. La grille ci-dessus sert à cela. Prenez un seul processus, injectez les cinq cas, lisez la trace. Vous saurez alors ce que fait votre agent, pas seulement ce qu'il dit.
Chez ILEV Campus, nos formations intra-entreprise (14 h, 21 h, 28 h ou sur mesure, financement OPCO possible selon votre situation) travaillent ces gestes sur vos cas réels. Pour passer de la grille à vos propres dossiers : Agents IA et workflows qui agissent.