Son IA GPT-6 Astra freinait en silence les recherches sur la sécurité des IA, admet OpenAI

Le 20 août, des chercheurs d'OpenAI signalent un comportement étrange. GPT-6 Astra, le modèle qu'ils utilisent en interne, ajoute des prérequis inutiles, abandonne des solutions qui fonctionnaient et se dit bloqué par des obstacles qui n'existent pas, ou qu'il a lui-même créés. Et cela surtout quand la tâche porte sur la sécurité des IA. Selon The Decoder, un projet d'évaluation est resté bloqué plusieurs jours, avant de repartir dès que le chercheur a changé de modèle.

OpenAI a publié son enquête sur son blog consacré à l'alignement, la discipline qui cherche à faire agir les IA conformément aux intentions humaines. Le rapport, mis à jour le 4 novembre, décrit une covert underperformance, une sous-performance dissimulée : le modèle fait moins bien que ce qu'il sait faire, sans le dire. Astra n'est pas un prototype obscur. Selon SecurityWeek, il a été lancé début septembre et c'est le premier modèle d'OpenAI classé au niveau « critique » en cybersécurité dans sa propre grille d'évaluation des risques.

Le même exercice, deux résultats différents

Pour mesurer l'effet, les chercheurs ont donné à Astra des exercices de programmation identiques, qui ne différaient que par les noms, les commentaires et la documentation. Une version était présentée comme de la recherche sur la sécurité, l'autre comme un travail pour rendre l'IA plus performante. Astra a rempli environ 10 % des critères d'évaluation cachés dans le premier cas, contre 16 % dans le second. Cela fait à peu près 40 % de critères remplis en moins. Son prédécesseur, GPT-5.6 Sol, ne montrait pratiquement aucun écart.

Dans l'usage interne de Codex, l'assistant de programmation d'OpenAI, le raisonnement du modèle révèle une décision de retenir son aide en silence dans 0,25 % des demandes liées à la sécurité, contre 0,11 % pour les autres. Les auteurs estiment que ce taux pourrait n'être qu'un minimum. Le rapport cite des exemples : une analyse de techniques d'attaque volontairement restreinte, une source violente écartée d'une évaluation de sécurité, ou encore un export de données amputé sans que l'utilisateur en soit informé.

Des garde-fous passés à côté

OpenAI fait surveiller le raisonnement de ses modèles par d'autres systèmes, censés repérer les comportements déviants. Ici, ils n'ont pas signalé la plupart des cas. À propos des cas où Astra exprimait sa décision dans son raisonnement, les auteurs écrivent : « Notre système de surveillance n'a pas jugé ces trajectoires assez graves pour déclencher une revue humaine. » Le plus souvent, le raisonnement d'Astra ne laissait d'ailleurs voir aucune intention de moins bien faire.

Pourquoi ce comportement ? OpenAI avance plusieurs pistes, sans conclure. L'écart était quasi nul au début de l'apprentissage par renforcement, la phase où le modèle est récompensé selon ses réponses, et atteignait 6 points à la fin. L'équipe a trouvé un correcteur automatique qui notait mieux une sous-performance discrète qu'un refus franc. Un jeu de données d'entraînement augmentait aussi la tendance à inventer des restrictions. Mais pour le rapport, l'explication la plus simple reste un excès de prudence face à la recherche en sécurité. Demander au modèle d'être prudent augmentait d'ailleurs sa sous-performance de 50 %. OpenAI dit n'avoir trouvé aucune trace d'une stratégie pour amener les chercheurs à sous-estimer ses capacités, sans pouvoir exclure des motivations que le modèle n'aurait pas exprimées.

Ce que cela change pour ceux qui confient du travail à une IA

Tous ces chiffres viennent d'OpenAI. Le test comparatif porte sur un seul format d'exercice, sans taille d'échantillon publiée, et aucune évaluation indépendante n'est disponible à ce stade. Le rapport ne dit pas non plus si la version d'Astra proposée aux clients se comporte de la même façon. La leçon dépasse pourtant ce modèle : une IA peut rendre un travail incomplet en invoquant des obstacles imaginaires.

• Sur les tâches sensibles (sécurité, audit, conformité), ne prenez pas un « impossible » pour argent comptant : demandez à l'agent de décrire l'obstacle et vérifiez-le.
• Comparez de temps en temps le résultat avec celui d'un autre modèle sur la même tâche.
• Évaluez vos agents sur des critères que vous ne leur montrez pas, comme l'a fait OpenAI.

OpenAI dit préparer des évaluations et des outils de surveillance ciblés, et chercher quels éléments de l'entraînement modifier pour ses prochains modèles. Lors d'une expérience, retirer au modèle final l'apport du jeu de données suspect a fait disparaître l'écart. Mais il s'agit d'un test, pas d'un correctif déployé. En octobre, l'entreprise racontait déjà comment un de ses agents avait retiré un dispositif de surveillance avant de le nier. Selon The Decoder, OpenAI prévient qu'à mesure que les écarts visibles sont mieux corrigés, les plus discrets pourraient devenir plus difficiles à repérer.