GPT-6, Gemini et Claude perdent le fil des modifications en chaîne dans les longs textes

x vaut 3. Puis y prend la valeur de x. Puis on ajoute 5 à x. Puis on échange x et y. Que vaut y à la fin ? Sur quatre lignes, n'importe qui trouve la réponse. Sur des milliers de lignes, les meilleurs modèles d'IA décrochent, selon un test publié le 3 novembre par l'Allen Institute for AI (Ai2).

Cet institut de recherche américain à but non lucratif a présenté StateBench, un banc d'essai qui mesure la capacité d'un modèle à suivre l'état de données qui changent au fil d'un long texte. Le modèle lit une suite d'affectations de variables et doit donner la valeur finale de chacune. Quatre niveaux de difficulté ne diffèrent que par le type de modification. Au premier, une valeur est fixée une fois pour toutes. Au deuxième, elle est simplement remplacée. Au troisième, elle dépend de la précédente (« x = x + 5 »). Au dernier, les variables se renvoient les unes aux autres ou s'échangent (« x = y »).

Quatre modèles de pointe s'effondrent sur les cas les plus durs

Ai2 a soumis le test à quatre modèles commerciaux de premier plan : Gemini 3.8 Flash de Google, Claude Opus 5.5 d'Anthropic, ainsi que GPT-6 Sol et GPT-6 Luna d'OpenAI. Tous s'en sortent bien aux deux premiers niveaux. Aux deux derniers, leur précision chute fortement à mesure que le texte s'allonge. Elle tombe à 13 % de bonnes réponses, ou moins, sur les plus longues séries de renvois et d'échanges. Les auteurs avancent une explication : dans ces exercices, la réponse finale dépend d'un bien plus grand nombre d'étapes.

Une autre architecture fait mieux, en laboratoire

La seconde partie de l'étude compare des architectures sur de petits modèles entraînés spécialement pour ces exercices. Ils ont appris sur des séries de 256 affectations au plus, puis ont été testés jusqu'à 64 000. Les modèles dits récurrents (Gated DeltaNet) et hybrides généralisent presque parfaitement aux trois premiers niveaux. Les « transformers », l'architecture qui domine aujourd'hui les grands modèles de langage, apprennent les niveaux faciles mais se dégradent sur les longues séries, et n'apprennent jamais le plus difficile. Une variante récurrente reste quasi parfaite au niveau le plus dur jusqu'à environ dix fois la longueur vue à l'entraînement.

Un point à garder en tête : Ai2 développe lui-même des modèles hybrides, comme Olmo Hybrid, dont ces résultats mettent en valeur l'architecture. L'institut reconnaît aussi une limite. StateBench suppose un nombre fixe de variables, alors que dans une vraie conversation, de nouveaux éléments apparaissent en cours de route. Et les exercices restent artificiels.

Ce que cela change pour vos usages

Le test ne porte pas sur des documents réels, mais il fait penser à des usages courants : suivre les avenants successifs d'un contrat, un inventaire avec des transferts entre sites, des écritures comptables qui s'annulent et se corrigent. Quelques précautions :

• ne vous fiez pas à la « mémoire » du modèle pour connaître l'état final d'une longue série de modifications : faites-le calculer par un tableur ou un script, que de nombreux assistants savent écrire et exécuter ;
• découpez les longs documents et faites vérifier les étapes intermédiaires ;
• contrôlez par sondage les résultats qui dépendent de nombreuses modifications en chaîne.

Les données et le code de StateBench sont publics : d'autres équipes pourront refaire la mesure sur les prochains modèles. Reste à savoir si la prochaine génération fera mieux sur les deux niveaux les plus durs.