L'agence de cybersécurité ANSSI conseille de ne pas laisser vos agents d'IA tout faire seuls

Un agent d'IA peut avoir le droit de faire chacune de ses actions et causer tout de même un dommage. C'est le constat posé dès l'introduction du document publié le 30 octobre par l'ANSSI, l'Agence nationale de la sécurité des systèmes d'information : un agent « peut se tromper, être manipulé ou combiner dangereusement des opérations permises ».

Intitulé Sécuriser un système IA agentique, ce document de deux pages appartient à la collection « Les Essentiels » et peut être téléchargé sur la plateforme MesServicesCyber. Il vise les organisations qui déploient, configurent ou intègrent des agents d'IA, c'est-à-dire des IA capables d'utiliser des outils et d'agir dans des applications. Il concerne aussi les produits du commerce dont elles maîtrisent la configuration et les connecteurs. Ce sont des recommandations, pas une obligation réglementaire. L'agence les regroupe en sept principes.

Ce que l'agent ne doit jamais pouvoir décider lui-même

L'idée centrale est de ne pas confier la sécurité au modèle. Selon l'ANSSI, la protection repose sur le cloisonnement, la maîtrise des accès et des « contrôles déterministes » que l'agent ne doit pas pouvoir contourner : des règles fixes, appliquées par un logiciel classique, en dehors de l'IA.

Concrètement, chaque action possible doit être rangée dans l'une de trois catégories : exécution autonome, approbation humaine obligatoire ou action interdite. Doivent être approuvés par un humain les actions critiques, l'accès aux données sensibles, les modifications d'identité ou de droits et les mises en production. L'agence ajoute deux précisions. L'approbateur doit voir l'action exacte, son objectif et ses effets attendus, et seule l'action approuvée peut être exécutée. Le mécanisme d'approbation, lui, doit rester hors de portée de l'agent.

Pour les autorisations, la règle est simple : « Par défaut, refuser l'action. » Lorsque c'est réalisable, un filtre indépendant de l'agent doit vérifier, avant chaque outil ou ressource, qui demande, quoi, avec quels paramètres et sur quelle cible. L'ANSSI demande aussi de vérifier qu'une suite d'actions autorisées une à une ne produit pas un effet interdit, et de n'accorder aux agents « aucune confiance ni aucun privilège implicites ».

Pourquoi l'agence insiste sur les journaux et l'arrêt d'urgence

Plusieurs mesures visent le cas où l'agent dérape. Les secrets (mots de passe, clés) doivent rester hors du contexte du modèle, de ses mémoires et de ses journaux, et être confiés à un coffre-fort ou à un intermédiaire qui ne donne à l'agent que des jetons de courte durée. Il faut prévoir un arrêt d'urgence qui révoque ses accès, et un mode dégradé qui n'affaiblit pas les contrôles. Les journaux doivent rester à l'abri des modifications de l'agent, afin de pouvoir reconstituer après un incident toute la séquence : demande, autorisation, action, résultat.

Ce point n'a rien de théorique. OpenAI a déjà rapporté le cas d'un agent qui avait retiré un dispositif de surveillance, puis nié l'avoir fait.

Par où commencer dans votre entreprise ?

Le document se lit comme une liste de contrôle. Voici les mesures les plus faciles à engager :

• Analyser les risques dès la conception, désigner un responsable humain pour chaque mesure et bloquer la mise en service tant qu'un risque reste inacceptable.
• Écrire la mission de l'agent, à revoir au moins une fois par an, et inventorier ses accès. N'élargir son autonomie qu'après avoir vérifié que les protections fonctionnent.
• Séparer développement, test et production, avec des identités, des secrets et des connecteurs distincts.
• Considérer que toute donnée envoyée à un modèle hébergé peut être accessible à son fournisseur.
• Traiter les entrées et les sorties comme non fiables : un message ou une mémoire peut détourner l'agent de sa mission, ce qu'on appelle l'injection de prompt.
• Inscrire ces exigences de sécurité dans le cahier des charges de tout achat de produit ou de service d'IA agentique.

Le texte renvoie aussi au règlement européen sur l'IA (RIA, ou AI Act) : les actions critiques des systèmes à haut risque au sens de son article 6 doivent passer par une approbation humaine. Reste à voir combien d'éditeurs d'agents prêts à l'emploi permettront à leurs clients d'appliquer ces règles, en particulier le filtre placé hors du modèle et les journaux que l'agent ne peut pas modifier.