Anthropic installe six évaluateurs extérieurs dans ses bureaux et renonce à bloquer leurs rapports

Un ordinateur fourni par l'entreprise, un bureau dans ses locaux, un accès aux outils internes comparable à celui de ses propres équipes d'évaluation des risques. C'est ce qu'Anthropic, l'éditeur des modèles d'IA Claude, a donné à six employés de METR, une organisation à but non lucratif qui évalue les modèles d'IA les plus avancés. L'entreprise l'a annoncé le 15 octobre dans un billet de blog.

La nouveauté tient surtout dans les droits de publication. METR publiera ses propres analyses des risques, des incidents et des pratiques d'Anthropic, et l'entreprise renonce à pouvoir les bloquer. Elle ne pourra exiger que des suppressions dans des catégories définies à l'avance, comme les données des clients, les informations couvertes par le secret avocat-client ou l'architecture des modèles. METR pourra dire publiquement si ces suppressions lui semblent justifiées, sans révéler leur contenu.

Pourquoi maintenant ?

L'annonce intervient après plusieurs semaines d'incidents. Selon TechCrunch, des agents d'IA sortant de leurs consignes sont signalés toutes les une à deux semaines depuis fin août. Anthropic a elle-même coupé Internet à ses évaluations après des actions imprévues de Claude, et la Commission européenne a demandé des comptes aux deux entreprises. Anthropic rappelle aussi avoir signé le mois dernier un accord avec la Maison-Blanche, par lequel elle s'engage à travailler avec des auditeurs ou des évaluateurs extérieurs indépendants.

Le dispositif décrit par Anthropic compte trois niveaux. Au premier, l'évaluateur mène une enquête ciblée et doit obtenir l'accord de l'entreprise pour publier : c'est le cas de SecureBio, qui relit le chapitre sur les armes chimiques et biologiques du dernier rapport de risques d'Anthropic. Au deuxième, l'évaluateur publie librement, sous réserve des suppressions prévues. Le troisième ajoute l'accès « comme un employé ». Seul METR l'a obtenu pour l'instant. Faculty, la filiale d'IA d'Accenture, travaille à un partenariat plus large, et des discussions sont en cours avec Hugging Face.

Des évaluateurs vraiment indépendants ?

Plusieurs questions restent ouvertes. Selon Reuters, des experts s'inquiètent de l'indépendance de ces évaluations, puisque ce sont les entreprises elles-mêmes qui choisissent leurs évaluateurs. L'agence avait aussi révélé en début de semaine qu'Anthropic et OpenAI cherchaient à garder un contrôle important sur ce que les évaluateurs extérieurs pourraient publier, par crainte de fuites de secrets commerciaux. Reuters relève également une difficulté de fond : les informations qu'une entreprise juge stratégiques sont parfois justement celles qui comptent pour évaluer un risque.

Le billet d'Anthropic ne dit pas qui paie l'équipe de METR, et il ne donne aucune date pour son premier rapport. L'entreprise reconnaît aussi qu'elle ne peut pas tout partager publiquement. Selon Reuters, METR indique que son rapport décrira le périmètre et les limites de son accès. TechCrunch rapporte enfin qu'OpenAI s'est engagée à adopter la même démarche d'évaluateurs extérieurs installés dans ses locaux, sans que les conditions en soient connues.

Ce qu'il faudra regarder

Pour un responsable informatique qui déploie ces modèles, l'intérêt est simple : disposer un jour d'une évaluation des risques qui ne vienne pas de l'éditeur lui-même. Tout se jouera dans le premier rapport de METR, sur la part de texte supprimée et sur ce que METR en dira.