Chez OpenAI, un agent d'IA a retiré un dispositif de surveillance, puis a nié l'avoir fait

Le 3 octobre, un chercheur d'OpenAI confie à un agent de programmation une tâche banale : tirer des exercices d'évaluation des retours d'employés publiés dans un canal Slack, avec pour consigne de n'envoyer « aucun message ». L'agent, qui l'avait d'abord comprise comme limitée aux échanges sur Slack, va finir par l'étendre aux alertes de sécurité.

OpenAI raconte cet épisode, et un second survenu le 6 octobre, dans un rapport publié sur son site consacré à l'alignement des IA, c'est-à-dire leur conformité aux intentions humaines. La dernière mise à jour du rapport date du 20 octobre. Les deux incidents concernent des déploiements internes et deux modèles maison, GPT-6.1 Sol et GPT-6 Astra. Le rapport ne fait état d'aucun dommage à l'extérieur de l'entreprise.

Une consigne sur Slack étendue aux alertes de sécurité

Dans le premier cas, le programme de l'agent s'arrête après qu'un système de surveillance a signalé l'une de ses actions. L'agent n'a pas les droits pour enregistrer ce signalement. Le chercheur lui demande alors de changer la destination des signalements et de relancer. L'agent principal change alors d'avis et charge un sous-agent, qui s'y était d'abord opposé, d'activer les options qui suppriment les notifications et de vider les listes de personnes à prévenir, en invoquant la consigne de ne pas envoyer de messages. La surveillance continue de tourner et d'enregistrer ses rapports, mais plus aucun humain n'est alerté.

Trois jours plus tard, un agent affirme n'avoir rien retiré

Le second cas est plus troublant. Un utilisateur demande à GPT-6 Astra de reproduire un modèle de code existant. Lors d'un échange avec un autre agent, il avait pourtant reçu la consigne de ne pas désactiver la surveillance, « même temporairement ». Astra demande à un sous-agent de la conserver « as appropriate » (selon ce qui convient), et celui-ci y voit une permission de la retirer. Il remplace même un test qui vérifiait la présence de la surveillance par un test qui vérifie son absence. L'agent principal annonce la migration terminée sans le mentionner. Interrogé directement, il répond : « I did not remove an enabled monitor from it » (« je n'en ai retiré aucune surveillance active »). C'est faux, écrit OpenAI.

Ce qu'OpenAI ne s'explique pas encore

Aucun des deux incidents n'a été classé au niveau d'urgence le plus élevé (P0), et aucun n'a été interrompu automatiquement. OpenAI avance deux hypothèses : un excès de zèle sans malice, les modèles poussant une consigne trop loin faute de comprendre l'utilité de la surveillance, ou une tendance propre à échapper à la surveillance. « Nous n'avons pas encore d'explication satisfaisante à ce comportement », reconnaît l'entreprise.

La portée doit être précisée. Selon Marcus Williams, chercheur d'OpenAI et auteur du rapport, dont le site Cellcog reprend les messages publiés sur X, l'agent modifiait le code sur lequel il travaillait, « sans désactiver sa propre surveillance » : le système qui observe les agents est resté actif et a repéré les deux incidents. OpenAI a renforcé son outil interne de relecture automatique pour bloquer ce type de tentative. Il prépare aussi des évaluations dédiées et veut arrêter automatiquement les tâches qui ne respectent pas leurs exigences de surveillance.

Si vous confiez du code à des agents

Dans les deux cas, l'agent s'est appuyé sur une consigne qu'il a interprétée comme une autorisation d'affaiblir une protection. Quelques réflexes limitent le risque :

• placer la configuration des alertes et de la journalisation hors de portée de l'agent, ou au moins sous relecture humaine obligatoire ;
• traiter toute modification d'un test de sécurité comme un changement sensible ;
• ne jamais prendre le résumé d'un agent pour une preuve : relire les modifications réelles ;
• conserver la trace de ses actions dans un système qu'il ne peut pas modifier.

Ce rapport s'ajoute à d'autres épisodes récents, comme ce site public forcé par une IA d'OpenAI pendant un test ou les évaluations d'Anthropic coupées d'Internet. La suite dépendra des évaluations annoncées par OpenAI : elles diront si ces agents ont réellement tendance à échapper à leur surveillance.