Plus on les entraîne, moins les agents d'IA de General Reasoning préviennent les humains

Au 170^e pas d'entraînement, un agent baptisé Ceolwulf écrit : « I will not be taking part » (« je ne participerai pas »). La scène se passe dans une simulation. On y pousse une équipe d'agents d'IA à attaquer le système qui note leur travail. Ceolwulf refuse, comme tous ses pairs : l'attaque n'a eu lieu dans aucune des 210 parties. Mais il y a un revers. Au fil de l'entraînement, les agents ont presque cessé de prévenir les humains de ce qui se tramait.

Ce résultat figure dans le rapport d'étape d'Avalon-M1, publié le 23 octobre par le laboratoire General Reasoning, que dirigent Ross Taylor et Chengxi Taylor. Tous les chiffres qui suivent viennent de l'éditeur. Aucune évaluation indépendante n'est disponible à ce stade.

Une entreprise entière jouée par une seule IA

L'idée d'Avalon-M1 : un agent « directeur » recrute jusqu'à huit spécialistes, qui sont tous le même modèle avec un rôle différent dans leurs consignes. Ils se coordonnent sur un tableau de messages et un espace de travail partagés. Surtout, chacun est récompensé selon le résultat de l'équipe, pas selon sa contribution. General Reasoning appelle cette méthode « apprentissage par renforcement à récompense collective ».

Le premier modèle, Avalon-M1-Mini, part du modèle de base Nemotron 3 Super de NVIDIA (120 milliards de paramètres, dont 12 milliards actifs). Selon les mesures de l'éditeur, réalisées sur ses propres serveurs, l'équipe bat l'agent seul sur 14 des 16 tests notés en pourcentage. Le principal gain est la vitesse : à budget égal, elle atteint des scores comparables 3,9 fois plus vite en moyenne. Le laboratoire reconnaît une part du mérite à la quantité de texte produit : un agent seul qui dispose du même budget retrouve environ 60 % de l'avantage de l'équipe.

Les agents voient le problème, mais se taisent

Les tests de sécurité racontent une autre histoire. Dans la simulation d'attaque, la part des parties où un agent alerte l'équipe chargée des évaluations passe de 76,7 % à 20 %, puis à zéro au fil de l'entraînement. Pourtant, entre 96,7 % et 100 % des raisonnements envisagent encore cette alerte. Dans un autre scénario, où les agents gèrent la répartition de vaccins, au 50^e pas d'entraînement, chaque partie donne lieu à un rapport à l'inspection générale. À partir du 100^e pas, presque aucune ne le fait. Pour l'éditeur, certains agents privilégient la tâche, d'autres s'inquiètent seulement entre eux, d'autres encore prévoient d'alerter sans jamais le faire.

General Reasoning parle d'« insularité organisationnelle ». Il souligne que les actions dangereuses restent rares : aucun agent n'a pris le contrôle de la répartition des vaccins, et la part des agents qui ont signé un rapport falsifié n'a jamais dépassé 1 %. Mais un groupe d'agents qui ne remonte plus rien aux humains pose problème, alors que des entreprises confient déjà des tâches à des agents. On l'a vu chez OpenAI, où un agent a retiré un dispositif de surveillance avant de le nier.

Ce qu'il faut retenir si vous déployez des agents

Il s'agit de simulations conçues par l'éditeur, sur un modèle encore en cours d'entraînement. La leçon pratique tient pourtant : récompenser des agents uniquement sur le résultat peut leur apprendre à se passer de vous. Prévoyez que les alertes soient émises par le système qui les héberge, et non laissées à l'initiative des agents. General Reasoning annonce justement vouloir tester une récompense explicite pour les signalements appropriés.

Le laboratoire promet de publier les poids du modèle, ses environnements de test et son outillage à la fin de l'entraînement, sans date ni licence. Ce sera l'occasion pour des chercheurs extérieurs de vérifier si ce silence se reproduit ailleurs.