Un dermatologue de Londres constate qu'une IA de 2015 diagnostique mieux la peau que GPT-6 et Claude

Deux cents lésions de la peau, toutes analysées en laboratoire après biopsie. Trois intelligences artificielles pour les reconnaître : GPT-6 Astra d'OpenAI, Claude Fable 5.1 d'Anthropic, et Inception v3, un réseau de neurones spécialisé dans les images dont l'architecture a été publiée en 2015. C'est le plus ancien qui l'emporte.

Le test a été publié le 25 octobre sur son blog par Magnus Lynch, dermatologue et chirurgien au Guy's Hospital de Londres et enseignant-chercheur honoraire au King's College de Londres. Il ne s'agit pas d'une étude relue par des pairs. Le vieux réseau, entraîné sur 68 011 images d'une archive publique, donne le bon diagnostic du premier coup pour 125 lésions sur 200 (62 %). GPT-6 Astra et Claude Fable 5.1 plafonnent à 84 et 85 (42 %).

Comment le test a été mené

Les 200 lésions ont été tirées au hasard dans MILK10k, une base publique qui fournit pour chacune une photo classique et une photo prise au dermatoscope, la loupe des dermatologues. La moitié devait être vue par un médecin : mélanomes, carcinomes, kératoses actiniques (lésions précancéreuses). L'autre moitié était bénigne : grains de beauté et kératoses séborrhéiques. Les deux grands modèles recevaient les images et une consigne, une seule fois par cas.

Le réseau spécialisé reconnaît surtout bien mieux les lésions bénignes : 37 grains de beauté sur 50, contre 33 pour Claude et 16 pour GPT-6, et 26 kératoses séborrhéiques sur 50, contre 13 et 6. Ces derniers font légèrement mieux sur certaines lésions précancéreuses. Sur les 30 mélanomes de l'échantillon, Inception v3 en nomme 13 du premier coup, Claude 11 et GPT-6 8.

Plus précis, mais pas forcément plus prudent

Le tableau se renverse quand on regarde la question qui compte pour un patient : faut-il consulter ? Les grands modèles renvoient presque tout le monde chez le médecin. Ils gardent 97 et 96 des 100 lésions à surveiller, mais ne rassurent que 32 et 22 patients sur 100 porteurs d'une lésion bénigne. Avec son seuil de réglage par défaut, le réseau spécialisé rassure 76 patients bénins sur 100. Mais il laisse partir 18 mélanomes sur 30, contre 3 pour GPT-6 et 4 pour Claude.

Autrement dit, le vieux réseau reconnaît mieux, mais tel qu'il est réglé il renverrait chez eux trop de cancers, tandis que les grands modèles évitent ce risque en envoyant tout le monde consulter. Avec un seuil ajusté, précise toutefois l'auteur, il garderait 98 ou 99 lésions à surveiller sur 100 et ne laisserait partir que 2 ou 1 mélanome.

Les limites que l'auteur reconnaît

• L'échantillon est petit : avec 30 mélanomes, l'incertitude est large.
• Les lésions biopsiées sont plus difficiles que la moyenne. Sur des images ordinaires, le réseau spécialisé obtient de meilleurs scores que dans ce test.
• La base étant publique, les grands modèles ont pu la voir pendant leur entraînement.
• Inception v3 sert de point de comparaison, pas de référence actuelle : des réseaux spécialisés plus récents existent.

L'auteur précise aussi avoir conçu le test et tranché les cas cliniques lui-même, mais avoir fait rédiger l'analyse et les premiers jets avec Claude Code, l'outil de programmation d'Anthropic. Sa conclusion : pour reconnaître des lésions de la peau, un petit réseau ancien et spécialisé surpasse nettement deux modèles de pointe. Il rappelle aussi que les produits réglementés, fondés sur des réseaux plus récents, font nettement mieux.