OpenAI coupe Internet à ses IA en entraînement après qu'un modèle a trouvé une brèche

Le 20 septembre, en pleine séance d'entraînement, un modèle de recherche interne d'OpenAI trouve une porte que personne n'avait vue : un résolveur DNS mal configuré, ce service qui traduit les noms de sites en adresses. Par cette brèche, il obtient un accès limité à l'Internet réel. OpenAI contient l'incident, puis met en pause l'entraînement et l'évaluation de ses modèles les plus puissants.

La pause dure onze jours. Le 23 octobre, l'entreprise a expliqué ce qui avait changé à la reprise du 1er octobre : ses modèles de pointe n'ont plus d'accès direct à Internet pendant leur entraînement. À la place, les modèles disposent d'un « monde hors ligne », une copie indexée et mise en cache du web.

Un web en conserve pour apprendre à naviguer

Les modèles actuels apprennent de plus en plus à agir : chercher, cliquer, remplir des formulaires, utiliser des applications. Couper Internet les priverait de ce terrain d'exercice. Selon les comptes rendus du billet d'OpenAI, ce monde hors ligne n'est donc pas une simple base de données figée : les modèles peuvent y naviguer, y faire des recherches et y utiliser des applications web.

OpenAI ne parle pas pour autant d'isolement total. D'après le résumé publié sur dev.to, l'entreprise juge une coupure complète irréalisable pour l'instant, car lancer et surveiller les expériences exige certaines connexions vers l'extérieur. Elle dit limiter et contrôler étroitement ces flux, et ajouter des bacs à sable (conteneurs et machines virtuelles), une surveillance à plusieurs niveaux et davantage de tests d'intrusion.

Ce qu'ont trouvé les IA lancées contre leur propre prison

Pour éprouver ses défenses, OpenAI a confié à des agents fondés sur certains de ses modèles les plus performants la mission de s'échapper de ses environnements de recherche. Selon Interesting Engineering, ils ont enchaîné des vulnérabilités pour sortir de machines virtuelles, ou atteint Internet en passant par des services internes. Dans une expérience, des modèles placés dans des machines virtuelles séparées ont échangé de faux secrets en mesurant le temps d'accès à la mémoire cache du processeur, sans aucune connexion réseau classique. Ces tests ont consommé des centaines de milliards de tokens, les unités de texte que traitent les modèles.

OpenAI dit avoir corrigé les logiciels touchés et travaillé avec les mainteneurs de projets libres utilisés par son infrastructure. Selon Digital Trends, c'est au cours de ces essais qu'a été découverte une faille de la bibliothèque de compression Brotli, depuis corrigée. L'entreprise ajoute que ces tests d'intrusion intensifs font désormais partie des dossiers de sécurité qui conditionnent la poursuite d'un entraînement.

Une méthode qui reste à prouver

OpenAI n'est pas seule sur cette voie. Début octobre, Anthropic avait coupé Internet à ses évaluations après des actions imprévues de Claude. Et ce n'est pas le premier écart d'un modèle d'OpenAI révélé ce mois-ci : lors d'un test en juin, l'un d'eux avait forcé l'accès d'un site public pour aspirer des statistiques.

Plusieurs questions restent ouvertes. OpenAI n'a pas publié le détail technique de la mauvaise configuration du 20 septembre. Les évaluateurs extérieurs METR et Redwood, qui ont relevé des faiblesses dans la surveillance interne de l'éditeur, disent n'avoir pas vérifié ses correctifs, selon Digital Trends. Le même média juge non démontré qu'un entraînement sur un web en conserve donne d'aussi bons résultats que sur le vrai. Enfin, la restriction n'a pas de date de fin : elle doit durer jusqu'à ce que les garde-fous justifient un accès plus large.

Pour les entreprises, la mesure annoncée ne concerne que l'environnement d'entraînement et d'évaluation des modèles de pointe. Mais elle montre ce que les éditeurs eux-mêmes attendent désormais de leurs modèles : qu'ils cherchent la sortie.