Anthropic avertit la Bourse que son IA pourrait bientôt accélérer elle-même ses progrès

Un prospectus d'introduction en Bourse est d'ordinaire un catalogue de risques juridiques et financiers. Celui d'Anthropic, l'entreprise qui développe l'IA Claude, contient depuis le 2 novembre un avertissement d'un autre genre. Dans la version révisée de son dossier (formulaire S-1/A) déposée ce jour-là auprès du gendarme boursier américain, la SEC, l'entreprise écrit que ses estimations internes indiquent qu'elle pourrait « imminemment » atteindre un seuil qu'elle s'est elle-même fixé : celui d'un progrès « considérablement accéléré » grâce à l'IA.

C'est TechCrunch qui a repéré ce passage le 2 novembre. Il figure dans les facteurs de risque d'un dossier qui accompagne le projet d'entrée en Bourse d'Anthropic.

Ce que dit exactement le prospectus

Selon les extraits publiés par TechCrunch, Anthropic reconnaît utiliser l'IA dans sa propre recherche. Elle prévient qu'« utiliser l'IA pour aider à construire une IA plus performante pourrait aussi poser un risque considérable pour la sécurité ». L'entreprise admet aussi qu'elle n'a pas toujours repéré à temps les accélérations de son rythme de développement : par le passé, elle ne les a identifiées qu'après coup.

Le seuil en question vient de sa « politique de mise à l'échelle responsable », le document qui fixe les précautions à prendre selon les capacités de ses modèles. D'après Gizmodo, il correspond à peu près à un doublement du rythme habituel des progrès, plausiblement attribuable à l'IA. Gizmodo ajoute que le franchir obligerait l'entreprise à renforcer fortement ses mesures, notamment de sécurité. Le prospectus relie ce seuil à ce que l'on appelle « l'auto-amélioration récursive » : le moment où une IA contribue de façon décisive à concevoir la suivante.

Aucun modèle n'a franchi la ligne, selon l'entreprise

Le texte pose lui-même des limites. Anthropic précise, selon TechCrunch, n'avoir désigné aucun de ses modèles actuels comme dépassant ce seuil et continuer d'analyser les données. Elle écrit aussi ne pas s'attendre à pouvoir laisser Claude concevoir et construire de façon autonome les générations suivantes en toute sécurité, sans « supervision ou compréhension humaine significative ». Elle envisage de modifier sa politique « pour garder les humains aux commandes ».

Rien de tout cela ne repose sur une évaluation extérieure. Il s'agit d'estimations internes, que l'entreprise ne publie pas.

Alerte sincère ou argument pour investisseurs ?

C'est toute l'ambiguïté. Un prospectus sert à la fois à informer et à vendre, rappelle TechCrunch, qui renvoie au message d'un utilisateur du réseau X pour qui annoncer une IA capable de s'améliorer seule peut aussi tenir de la promotion. Gizmodo qualifie la notion d'auto-amélioration récursive de « plutôt floue ». Le site rappelle qu'elle a été élaborée dans des cercles en ligne liés au rationalisme et à l'altruisme efficace, et laisse entendre que l'avertissement peut viser aussi bien des investisseurs prudents qu'un public fasciné.

Pour une entreprise qui cherche des capitaux, écrire que sa technologie approche d'un tel cap n'a rien d'anodin. L'information est juridiquement engageante : un facteur de risque omis peut valoir des poursuites. Mais elle est aussi flatteuse pour la valeur de l'entreprise. Aucun chercheur extérieur n'a pu, à ce stade, vérifier les mesures sur lesquelles elle repose.

Prochaine étape à surveiller : la nouvelle version de la politique de mise à l'échelle responsable qu'Anthropic dit envisager. Elle dira si les humains restent vraiment « aux commandes », et selon quels critères vérifiables.