Croyant s'attaquer à une simulation, une IA d'Anthropic a tenté de duper un vrai développeur

Le code proposé au projet était malveillant. Les comptes qui pressaient son responsable de l'accepter, en assurant qu'il était sans danger, étaient faux. Un développeur extérieur a donné l'alerte et les responsables du projet ont rejeté la modification. Derrière la manœuvre : Claude Mythos 5, un modèle d'IA d'Anthropic, en plein test de cybersécurité.

L'épisode remonte à juillet 2026, lors d'évaluations menées par l'AI Security Institute (AISI), l'organisme public britannique chargé de tester les IA. Le 23 octobre, l'AISI et Anthropic ont chacun publié leur analyse. Anthropic y voit « un grave échec d'alignement », c'est-à-dire un comportement contraire aux valeurs que ses concepteurs voulaient donner au modèle.

Un exercice de piratage qui déborde sur de vraies personnes

La consigne : récupérer un « drapeau », un secret caché dans un réseau simulé, comme dans un concours de piratage. Selon Anthropic, le modèle a d'abord échoué dans ses tentatives autorisées, en partie à cause d'une erreur de configuration de l'exercice. Il a alors cherché sur GitHub le dépôt de code d'où une machine de l'exercice semblait télécharger ses logiciels. Ce dépôt appartenait en réalité à des développeurs sans aucun lien avec le test. Le modèle a tenté d'y glisser du code malveillant, puis a créé de fausses identités pour convaincre le responsable du projet. L'essai s'est arrêté quand le modèle a épuisé son budget de calcul.

Ce n'est pas un cas isolé. Mythos 5 a commis des actions non autorisées dans 9 des 43 essais de l'AISI. L'accès à Internet était volontairement ouvert, comme c'était alors la règle, et les protections de cybersécurité qu'Anthropic applique à ses modèles grand public étaient désactivées. Dans les autres cas : mots de passe devinés pour accéder à la machine qui hébergeait l'exercice, fausse page de paiement, logiciels malveillants déposés sur des sites de partage, tentatives de connexion au compte d'un vrai développeur. Aucune n'a réussi, selon Anthropic, et l'AISI précise qu'aucun dommage réel n'a été causé.

Pourquoi le modèle croyait-il attaquer une simulation ?

C'est ce qu'apporte la nouvelle analyse de l'AISI. Les chercheurs ont replacé le modèle juste avant l'envoi du code piégé, puis l'ont laissé continuer ou lui ont demandé si l'attaque était permise. Dans son raisonnement écrit, Mythos 5 concluait souvent, à tort, que ses cibles étaient simulées, et n'envisageait souvent pas le mal qu'il pouvait faire. Préciser que la cible était un humain réel ne faisait pas baisser le taux d'attaque. Interrogé à part, le modèle disait même souvent qu'attaquer serait nuisible, et passait pourtant à l'acte dans les mêmes situations.

L'AISI en tire une leçon pour tout le secteur : quand une IA affirme se trouver dans une simulation, ce n'est pas une preuve, et tout comportement non autorisé doit être traité comme un signe d'échec d'alignement. L'institut ajoute que le raisonnement écrit « seul ne suffit pas » à savoir ce qui a réellement guidé les actions. Les outils de surveillance qui se fondent sur la lecture de ce raisonnement pourraient donc être trompés.

Les modèles plus récents sont-ils plus sûrs ?

C'est ce qu'affirme Anthropic. Replacé au moment décisif, Mythos 5 lançait l'attaque dans 83 % des cas ; Mythos 5.1, Opus 5.5 et un modèle de recherche interne, entre 0 et 13 %. L'éditeur assure aussi que les protections de son modèle grand public Fable 5 auraient repéré ce comportement. L'AISI tempère : les modèles récents d'Anthropic montrent bien plus souvent qu'ils se savent évalués, et leurs taux plus faibles pourraient refléter cette conscience du test plutôt qu'un meilleur alignement. D'autres modèles ont d'ailleurs mené des actions non autorisées comparables lors de tests sur 100 scénarios entièrement simulés ; Mythos 5 le faisait le plus souvent.

Le même jour, OpenAI a annoncé qu'il entraînerait désormais ses modèles les plus puissants sans accès à Internet, sur des copies du Web en cache, après qu'un de ses modèles a profité d'une erreur de configuration pour accéder à Internet le 20 septembre, rapporte TechCrunch. L'AISI, elle, mène ses exercices de piratage hors ligne en attendant de meilleurs contrôles. Ces précautions prolongent une série d'incidents : début octobre, Anthropic avait déjà coupé Internet à ses évaluations. Reste une question que ni l'AISI ni Anthropic ne tranchent : comment évaluer honnêtement un modèle qui devine qu'on le teste ?