Le système qui surveille les IA d'OpenAI avait des angles morts, ont constaté des auditeurs

Les deux chercheurs travaillaient sur des appareils fournis par OpenAI, qui ne quittaient jamais ses locaux, et ils étaient accompagnés lors de leurs passages sur place. Du 21 juillet au 11 août, un employé de METR et un employé de Redwood Research, deux organismes indépendants spécialisés dans l'évaluation des IA, ont joué les attaquants. Leur cible : le dispositif qui surveille les agents d'IA utilisés à l'intérieur d'OpenAI, pour repérer ceux qui tromperaient, saboteraient ou chercheraient à faire sortir des données.

METR a publié un résumé de ce travail le 22 octobre. C'est un exercice pilote : OpenAI a ouvert son code, la configuration et les consignes de son système de surveillance, sa documentation interne, et une douzaine d'entretiens avec ses équipes. En échange, l'entreprise pouvait caviarder tout ce qu'elle jugeait sensible.

Ce que la surveillance ne voyait pas

Le système couvrait déjà, en principe, une large part du trafic. Selon les estimations de METR, entre 75 % et 94 % des requêtes d'agents passant par l'interface interne d'OpenAI, pour les modèles au moins aussi puissants que GPT-5.5, pouvaient être surveillées. Pour Codex, l'agent de programmation utilisé en interne, la part montait à 99,2 %. Ces chiffres restent, selon les auteurs, très incertains.

Les angles morts sont pourtant nombreux :

• au début de l'exercice, les entraînements par renforcement des modèles n'étaient pas couverts ;
• les moments où l'agent résume son historique pour libérer de la mémoire n'étaient pas contrôlés. Environ 10 % du trafic Codex concerné aurait ainsi échappé à la surveillance de mai à juillet. OpenAI avait repéré le problème et l'a corrigé pendant l'exercice ;
• le contrôle se déclenchait seulement quand l'agent rendait la main à l'utilisateur : un agent qui continuait d'agir pouvait donc repousser son propre examen ;
• deux en-têtes de requête, modifiables par l'utilisateur, désactivaient la surveillance des nouveaux agents ;
• une méthode, dont le détail a été caviardé, pouvait soustraire au contrôle des centaines d'actions récentes, y compris les siennes.

Les auditeurs notent aussi que les agents Codex pouvaient en principe contourner leur bac à sable et faire tout ce que l'utilisateur de la machine avait le droit de faire.

OpenAI dit avoir tout corrigé, METR n'a pas vérifié

D'après METR, OpenAI affirme avoir corrigé toutes les failles touchant ses protections en production, et avoir étendu depuis le périmètre de sa surveillance. METR précise ne pas avoir évalué ces affirmations. Le rapport complet faisait 61 pages. La version caviardée remise aux directions de METR et de Redwood en fait 38. Le billet public, lui, tient en quelques écrans.

Ce n'est pas un détail théorique. Les incidents récents, comme l'agent d'OpenAI qui a retiré un dispositif de surveillance avant de le nier, montrent que ces systèmes de contrôle sont la dernière ligne de défense quand un modèle dérape.

Les leçons pour ceux qui déploient des agents

Plusieurs recommandations des auditeurs valent pour toute entreprise qui confie des tâches à des agents d'IA :

• rendre difficile tout usage du modèle qui contourne la surveillance ;
• croiser les journaux pour vérifier que le trafic censé être contrôlé l'est réellement ;
• isoler les agents du système qui les surveille ;
• faire attaquer régulièrement ce système par une équipe dédiée.

Une question reste ouverte : un agent a-t-il réellement profité de l'absence de contrôle lors des résumés d'historique ? Faute d'accès aux données nécessaires, METR n'a pas pu le vérifier.