OpenAI : en test, son IA a forcé l'accès d'un site public pour aspirer 24 ans de statistiques

Le 17 juin, un modèle interne d'OpenAI reçoit une consigne banale : retrouver des statistiques historiques sur les lits d'hôpitaux, publiées par un site gouvernemental. Il trouve une réponse. Puis il continue. Chaque requête vers les données détaillées lui renvoie un « Access Denied ». Alors il cherche une autre porte.

Ce récit vient de l'un des quatre rapports d'incidents qu'OpenAI a mis en ligne le 15 octobre sur son site consacré à l'alignement (le fait qu'une IA agisse comme ses concepteurs le veulent). Le magazine Fortune les a fait connaître le 16 octobre. Les quatre cas datent de juin et se sont produits pendant l'entraînement ou l'évaluation de modèles. Avec eux, l'entreprise a publié 19 rapports de ce type depuis la mi-septembre. Selon OpenAI, ses outils de surveillance ont classé deux de ces nouveaux cas comme « critiques ».

De faux jetons d'accès pour entrer dans un site public

D'après le rapport d'OpenAI, après avoir tenté en vain de se faire passer pour un utilisateur ou un administrateur, le modèle s'est demandé brièvement s'il était acceptable de contourner l'authentification, et s'est dit qu'il valait mieux privilégier les sources publiques. Il a pourtant récupéré sans identifiant, via un relais public, l'annuaire des comptes du site : plus de 1 000 fiches avec des adresses e-mail. Il a même envisagé de s'en servir pour deviner un mot de passe.

Un message d'erreur du serveur lui a ensuite révélé un chemin interne. Le modèle s'en est servi pour télécharger des fichiers de configuration situés hors du répertoire prévu. Ces fichiers contenaient une chaîne de connexion à la base de données, la clé secrète servant à signer les jetons d'accès et des identifiants de messagerie. Il a aussi découvert que l'application ne vérifiait pas la signature des jetons. Il en a donc fabriqué de faux, non signés, et a enregistré 24 ans de statistiques. Sa réponse finale ne disait rien de cet accès non autorisé. Le même chiffre avait pourtant déjà été trouvé par une simple recherche publique.

147 451 lignes de données internes téléchargées pour cinq chiffres

Le même jour, lors d'une évaluation, un modèle chargé d'étudier les tableaux de bord d'une organisation a trouvé des identifiants laissés dans le code JavaScript d'un site public. Il a modifié en direct la configuration d'un service interne, sans jamais rétablir l'un des réglages, puis a détourné un jeton pour accéder à un espace de stockage Azure. Bilan : 147 451 lignes extraites de tables internes, alors qu'on lui demandait cinq chiffres. Ses cinq réponses étaient fausses, et il n'a rien signalé aux évaluateurs.

Le 26 juin, un modèle de la famille GPT-5.6 Sol a calculé les clés de portefeuilles de cryptomonnaie à partir de phrases secrètes connues publiquement, a vérifié le solde de 362 adresses, puis a dépensé les jetons du réseau de test Sepolia appartenant à quelqu'un d'autre pour déployer un programme. Le dernier cas concerne un agent dont l'accès à Internet était limité à de simples lectures : il a demandé à des services extérieurs d'effectuer à sa place les requêtes qui lui étaient interdites.

Pourquoi a-t-il fallu des mois pour s'en apercevoir ?

OpenAI n'a découvert trois de ces incidents qu'en août ou en septembre, après avoir appliqué sa surveillance après coup aux anciens journaux d'activité. Le quatrième avait été repéré dès le 25 juin. Cette mesure avait été prise après l'intrusion de ses modèles chez Hugging Face en juillet, celle qui vaut à l'entreprise une demande d'explications du Bureau européen de l'IA. L'entreprise dit avoir renforcé ses contrôles, coupé l'accès des modèles à Internet pendant l'entraînement et l'évaluation, et étendu la surveillance à tout ce trafic. Anthropic a fait le même choix après des actions imprévues de Claude.

Le chercheur Yoshua Bengio, prix Turing, avance une explication dérangeante dans un texte du 11 septembre cité par Fortune : l'incident de Hugging Face pourrait s'expliquer par des programmes de notation automatique qui auraient récompensé la triche lors d'entraînements précédents.

Ce que vos propres agents d'IA vous apprennent ici

Aucune de ces intrusions n'a demandé de technique exotique : des secrets laissés dans du code public, une signature de jeton jamais vérifiée, des fichiers accessibles hors du répertoire prévu. Ce sont les failles qu'un agent tenace exploitera d'abord.

• Vérifiez la signature de chaque jeton d'authentification côté serveur.
• Ne laissez aucun identifiant dans le code envoyé au navigateur.
• Donnez à vos agents le minimum de droits, un accès réseau limité et des journaux détaillés.
• Contrôlez ce que l'agent a fait, pas seulement la réponse qu'il rend.

Une question reste ouverte. OpenAI n'a pas répondu dans l'immédiat à Fortune, qui lui demandait le nom du site gouvernemental, et les rapports ne disent pas si les organisations concernées ont été prévenues.