Chez Anthropic, l'IA accélère déjà sa propre amélioration, estime un évaluateur indépendant

Pendant onze semaines, du 12 août au 29 octobre, une équipe de METR a travaillé sur des ordinateurs d'Anthropic. Elle avait accès à des données et documents internes et a interrogé une quinzaine de salariés. Sa question : l'IA accélère-t-elle déjà la mise au point de l'IA chez l'un des laboratoires les plus avancés du secteur ? Sa réponse, publiée le 5 novembre, est : probablement, oui.

METR, une organisation à but non lucratif de Berkeley, en Californie, spécialisée dans l'évaluation des risques des IA avancées, estime qu'Anthropic améliore ses modèles environ deux fois plus vite qu'entre mars 2024 et octobre 2025. Cela vaut du moins pour les tâches « bien définies », celles que l'on peut noter automatiquement. Un facteur compris entre 1,3 et 3 ne la surprendrait pas. Elle attribue environ 80 % de cette accélération à l'IA elle-même, avec une incertitude qu'elle qualifie d'importante.

Comment METR mesure-t-elle cette accélération ?

Premier indice : un indicateur interne d'Anthropic qui agrège les résultats de tests de performance, inspiré de l'indice de capacités d'Epoch AI. Depuis octobre 2025, il progresserait 1,9 fois plus vite qu'avant (intervalle de confiance à 95 % : de 1,5 à 2,8), soit environ deux ans de progrès en un an. METR se dit « confiante » que cette accélération ne vient pas d'une hausse de la puissance de calcul consacrée à l'entraînement.

Les autres indices sont plus fragiles. Lors de sondages internes, des salariés estiment en moyenne que le modèle interne le plus performant les rend environ douze fois plus efficaces : METR n'y voit qu'un indice « très approximatif ». Les contributions entièrement autonomes de l'IA aux travaux d'entraînement les plus importants restent limitées, même si des chercheurs disent voir des « signes de vie ». METR ne voit enfin aucun goulet d'étranglement convaincant pour les douze prochains mois, tout en avouant une faible confiance sur ce point.

Ce que le public ne peut pas vérifier

METR expose elle-même la principale limite de son rapport. Anthropic disposait d'un droit de caviardage unilatéral sur les informations non publiques, et elle a masqué la majorité des éléments que METR jugeait les plus parlants : estimations détaillées par étape, analyses des goulets d'étranglement, prévisions sur les futurs modèles. Anthropic dit avoir voulu retirer des informations confidentielles qui « pourraient accélérer d'autres développeurs d'IA ». METR assure que tous les caviardages importants pour ses conclusions sont décrits dans son rapport, mais admet qu'il est difficile pour le public de juger lui-même ces preuves.

D'autres réserves figurent dans le rapport. METR n'a pas eu un accès équivalent à celui d'un salarié : elle n'a ni demandé ni obtenu l'accès aux modèles non publiés, et n'avait pas d'accès direct aux systèmes. Anthropic a annulé en cours de route un volet qui devait vérifier la répartition de sa puissance de calcul entre capacités et sécurité. Et METR s'est beaucoup servie de Claude, l'IA d'Anthropic, pour collecter et analyser les données. Elle juge toutefois « extrêmement improbable » qu'Anthropic ait cherché à la tromper. Mi-octobre, Anthropic avait annoncé un accord plus large avec METR, qui limite ses droits de caviardage, mais distinct de cette évaluation.

Un seuil d'alerte peut-être déjà franchi

Le même jour, METR a publié une seconde analyse, plus gênante pour l'entreprise. La politique de sécurité d'Anthropic prévoit un seuil d'alerte : un doublement du rythme de progrès, dû pour une bonne part à l'automatisation de la recherche. Son rapport de risque d'août affirmait que l'accélération restait inférieure à un facteur 2. METR juge cette conclusion « trop confiante » : le seuil a « plausiblement » été franchi dès le 15 juillet, et « environ 2 » serait une description plus juste. METR précise que la plupart des chercheurs de METR et d'Anthropic penchent pour un seuil non franchi. Elle ne peut toutefois « exclure » une nouvelle accélération importante dans les six prochains mois, qui pourrait mener rapidement à des risques « élevés ».

Sollicitée par l'agence Associated Press, Anthropic n'avait pas réagi dans l'immédiat. Le 12 septembre, son patron Dario Amodei avait appelé le secteur à ralentir le rythme d'amélioration des modèles, et cité METR comme un évaluateur externe adapté. Il reste à savoir si l'entreprise reprendra à son compte le diagnostic de l'évaluateur qu'elle a elle-même invité.