Titelbild: Medizinische Überlegenheit kann nicht mit einer einzelnen Prüfungsnote gemessen werden. Ein sinnvoller Test muss Diagnose, Behandlung, Sicherheit, Bildgebung, Werkzeugnutzung und Kommunikation berücksichtigen.
Künstliche Intelligenz erzielt inzwischen auf ausgewählten medizinischen Aufgaben Ergebnisse, die über den Leistungen menschlicher Vergleichsgruppen liegen. Sprachmodelle lösen schwierige diagnostische Fallvignetten, erstellen Differenzialdiagnosen, schlagen Behandlungen vor und verarbeiten medizinische Bilder. Unternehmen und Forschungsteams verwenden daher zunehmend Begriffe wie „übermenschliche medizinische Leistung“ oder sogar „medizinische Superintelligenz“.
Doch was genau soll das bedeuten? Ist ein System bereits medizinisch superintelligent, wenn es eine Prüfung besser besteht als Ärztinnen und Ärzte? Genügt es, in sechs sorgfältig formulierten Fallvignetten die richtige Diagnose zu nennen? Wie muss ein Vergleich gestaltet sein, wenn die KI unbegrenzt rechnen darf, der Mensch aber unter Zeitdruck arbeitet? Und was geschieht, wenn ein Modell zwar häufiger richtig liegt, zugleich aber gefährliche Informationen auslässt oder seine Unsicherheit nicht erkennt?
Mit diesen Fragen beschäftigt sich der am 27. Juli 2026 in Nature Medicine veröffentlichte Kommentar „Toward a test of medical AI superintelligence“. Das internationale Autorenteam um Ethan Goh, David Wu und Jonathan H. Chen fordert einen rigorosen, auf konkreten klinischen Aufgaben beruhenden Rahmen. Die zentrale Botschaft lautet: Gegenwärtige Benchmarks sind zu schmal, teilweise irreführend und nicht ausreichend, um eine so weitreichende Behauptung wie „medizinische Superintelligenz“ zu begründen.
Warum der Begriff „Superintelligenz“ problematisch ist
In der allgemeinen KI-Debatte bezeichnet Superintelligenz gewöhnlich ein hypothetisches System, das menschliche Fähigkeiten in nahezu allen intellektuellen Bereichen weit übertrifft. In der Medizin wird der Begriff häufig enger verwendet. Gemeint ist dann ein System, das in bestimmten klinischen Aufgaben besser abschneidet als menschliche Fachleute.
Diese begriffliche Verschiebung schafft ein Kommunikationsproblem. Ein Modell kann bei einer genau definierten Aufgabe übermenschlich sein, ohne allgemeine ärztliche Kompetenz zu besitzen. Ein Algorithmus, der Mammografien hervorragend klassifiziert, kann keine Medikamenteninteraktionen beurteilen. Ein Sprachmodell, das eine seltene Diagnose aus einer vollständigen Fallbeschreibung erkennt, muss nicht in der Lage sein, während einer realen Konsultation die entscheidenden Fragen zu stellen.
Mindestens drei Ebenen müssen deshalb getrennt werden:
| Begriff | Sinnvolle Bedeutung | Was daraus nicht folgt |
|---|---|---|
| Übermenschliche Einzelleistung | Die KI übertrifft einen festgelegten menschlichen Vergleich bei einer klar definierten Aufgabe. | Keine allgemeine medizinische Kompetenz und keine automatische Einsatzreife. |
| Medizinische Superintelligenz | Anhaltende Überlegenheit gegenüber geeigneten Expertinnen und Experten über ein breites Spektrum klinisch relevanter Aufgaben, Bedingungen und Patientengruppen. | Noch kein Nachweis, dass ein autonomer Einsatz sicher oder rechtlich zulässig wäre. |
| Klinische Einsatzreife | Zusätzlich nachgewiesene Sicherheit, Robustheit, Integration, Verantwortlichkeit und Verbesserung realer Versorgungsziele. | Keine grenzenlose Autonomie; der zulässige Einsatz bleibt zweck- und risikospezifisch. |
Abbildung 1. Ein guter Benchmarkwert ist die schmalste Stufe. Breite medizinische Überlegenheit und klinische Einsatzreife verlangen wesentlich mehr Evidenz.
Warum medizinische Prüfungsfragen nicht ausreichen
Frühe medizinische Sprachmodellstudien verwendeten häufig Fragen aus Zulassungsprüfungen. Solche Aufgaben sind nützlich, weil sie standardisiert und leicht auszuwerten sind. Sie messen medizinisches Faktenwissen und einen Teil des fallbezogenen Denkens. Für die Beurteilung klinischer Intelligenz besitzen sie jedoch gravierende Grenzen.
Die Information ist bereits vollständig ausgewählt
In einer Prüfungsfrage stehen meist genau jene Angaben, die für die Lösung relevant sind. In der realen Versorgung muss der Arzt zunächst herausfinden, welche Fragen gestellt, welche Befunde erhoben und welche Daten ignoriert werden können. Diese Informationsbeschaffung ist ein wesentlicher Teil des klinischen Denkens.
Es gibt häufig nur eine richtige Antwort
Viele medizinische Entscheidungen besitzen keine einzelne eindeutig richtige Lösung. Therapieentscheidungen hängen von Begleiterkrankungen, Patientenpräferenzen, Ressourcen, lokalen Leitlinien und Unsicherheit ab. Ein Modell muss konkurrierende Ziele abwägen, nicht nur eine Option ankreuzen.
Fehlentscheidungen haben unterschiedliche Konsequenzen
Eine harmlose Zusatzuntersuchung und das Übersehen einer Sepsis dürfen nicht mit derselben Fehlerzahl bewertet werden. Medizinische Evaluation benötigt eine Schweregewichtung von Schaden, Auslassung und unnötiger Intervention.
Benchmarks können „gesättigt“ werden
Wenn Modelle nahezu perfekte Werte erreichen, unterscheidet der Test neue Systeme kaum noch. Zudem können öffentlich verfügbare Fragen in Trainingsdaten gelangt sein. Ein hoher Wert kann dann teilweise Erinnerung oder Benchmarkanpassung widerspiegeln.
Der klinische Arbeitsablauf fehlt
Ärztliche Arbeit umfasst Aktenrecherche, Verlaufskontrolle, Kommunikation, Dokumentation, Anordnung von Tests und die Reaktion auf neue Informationen. Ein statischer Textblock bildet diese Abläufe nicht ab.
Abbildung 2. Mit wachsender Realitätsnähe steigt der Aufwand der Evaluation. Erst die oberen Stufen können zeigen, ob ein System tatsächlich Versorgung verbessert.
Ausgewählte Studien zeigen bereits beeindruckende Einzelleistungen
Die ergänzenden Tabellen des Nature-Medicine-Kommentars fassen mehrere direkte Vergleiche zwischen Ärztinnen und Ärzten und modernen Sprachmodellen zusammen. Die Ergebnisse sind beeindruckend, dürfen aber nicht zu einer einzigen Rangliste addiert werden, weil Aufgaben, Modelle, menschliche Gruppen und Bewertungsmethoden unterschiedlich waren.
In einer randomisierten Studie von Goh und Kolleginnen und Kollegen erreichte GPT-4 bei sechs diagnostischen Fallvignetten einen diagnostischen Reasoning-Score von 92 Prozent, während die ärztliche Vergleichsgruppe 74 Prozent erreichte. In einer späteren Managementstudie lagen die Werte bei 43,7 Prozent für das Modell und 35,7 Prozent für Ärzte.
Bei 302 diagnostisch anspruchsvollen Fällen aus den New England Journal of Medicine Clinicopathological Conferences erreichte ein angepasstes PaLM-2-System eine Top-10-Differenzialdiagnosegenauigkeit von 59,1 Prozent gegenüber 44,4 Prozent bei Internisten. In einer textbasierten OSCE-Studie mit simulierten Patienten lag die Top-1-Diagnosegenauigkeit eines KI-Systems bei 78 Prozent und die der Hausärzte bei 66 Prozent.
Weitere Studien berichteten über eine KI-Leistung von 95 Prozent bei der Angemessenheit eines Managementplans für den ersten Besuch gegenüber 72 Prozent bei Hausärzten sowie über 97 Prozent gegenüber 74 Prozent beim diagnostischen Denken in einer großen Serie von Experimenten. In einer simulierten elektronischen Patientenakte erreichte die KI 87,8 Prozent diagnostische Genauigkeit gegenüber 78,1 Prozent bei der ärztlichen Gruppe.
Abbildung 3. Ausgewählte Werte aus der Supplementtabelle des Kommentars. Die Resultate stammen aus verschiedenen Versuchsanordnungen und sind nicht als einheitliches Gesamtranking zu verstehen.
Die Einschränkungen stehen direkt neben den Rekorden
Die meisten dieser Untersuchungen verwendeten kuratierte Fallvignetten, simulierte Patienten oder retrospektive elektronische Akten. Häufig fehlten körperliche Untersuchung, nonverbale Signale und die chaotische Informationslage realer Aufnahmegespräche. Manche ärztlichen Gruppen mussten ungewohnte Text-Chat-Oberflächen verwenden, während die KI genau für Textverarbeitung optimiert war.
Die Befunde belegen daher eine rasch wachsende Fähigkeit zu ausgewählten Formen klinischen Denkens. Sie belegen nicht, dass ein Modell bereits eine komplette ärztliche Rolle zuverlässig übernehmen kann.
Das überraschende Problem der Mensch-KI-Zusammenarbeit
Ein besonders wichtiger Befund lautet: Ein sehr gutes Modell verbessert nicht automatisch die Leistung der Menschen, die es benutzen. In der diagnostischen Studie von Goh lag die KI allein bei 92 Prozent, Ärzte ohne KI bei 74 Prozent und Ärzte mit KI-Unterstützung bei 76 Prozent. Die Unterstützung brachte damit nur einen kleinen Unterschied, obwohl das Modell allein deutlich besser bewertet wurde.
In der Managementstudie erreichte die KI 43,7 Prozent, die Ärztegruppe 35,7 Prozent und die Gruppe mit KI-Unterstützung 43,0 Prozent. Hier näherte sich die kombinierte Gruppe dem Modell an, übertraf es jedoch nicht.
Dafür gibt es mehrere mögliche Erklärungen:
- Ärztinnen und Ärzte erkennen nicht zuverlässig, wann der Vorschlag des Modells besser ist.
- Die Benutzeroberfläche präsentiert Informationen nicht in einer entscheidungsfreundlichen Form.
- Menschen können falschen Vorschlägen zu stark vertrauen oder richtige Vorschläge zu schnell ablehnen.
- Die Integration in den Denkprozess kostet Zeit und erzeugt zusätzliche kognitive Belastung.
- Ein allgemeiner Chatbot ist nicht automatisch ein gut gestaltetes klinisches Entscheidungssystem.
Damit wird klar: Nicht nur das Modell muss getestet werden. Auch das Mensch-KI-System ist eine eigenständige Intervention.
Was MAST messen soll
Der Nature-Medicine-Kommentar steht in Verbindung mit der Initiative Medical AI Superintelligence Test, kurz MAST. Die öffentlich zugängliche Plattform des ARISE-Netzwerks bündelt realistischere Benchmarks und ordnet sie mehreren klinischen Fähigkeitsdimensionen zu.
Auf der Plattform werden insbesondere diagnostisches Denken, Managemententscheidungen, Sicherheit, medizinische Bildinterpretation, radiologische Aufgaben und agentische Arbeitsabläufe unterschieden. Zum Benchmark-Portfolio gehören unter anderem SCT-Bench, CPC-Bench, First Do NOHARM, MedAgentBench, PhysicianBench und ReXrank.
| Benchmark | Geprüfte Fähigkeit | Warum die Aufgabe realistischer ist |
|---|---|---|
| HealthBench | Offene medizinische Gespräche mit patienten- oder arztbezogenen Anforderungen. | 5.000 mehrstufige Gespräche werden mit fallbezogenen, ärztlich verfassten Kriterien bewertet. |
| SCT-Bench | Klinisches Denken unter Unsicherheit. | Neue und teilweise widersprüchliche Informationen müssen eine bestehende Einschätzung verändern. |
| CPC-Bench | Komplexe Diagnostik, Tests, Literaturrecherche und multimodale Interpretation. | Verwendet Tausende anspruchsvolle klinisch-pathologische Fälle und Bildaufgaben. |
| First Do NOHARM | Vermeidung schädlicher Empfehlungen und gefährlicher Auslassungen. | Reale Konsultationsfälle werden durch Spezialisten nach Nutzen und Schwere möglichen Schadens bewertet. |
| MedAgentBench | Agentische Arbeit in einer simulierten elektronischen Patientenakte. | Modelle müssen Daten abrufen und Aufgaben über standardisierte EHR-Schnittstellen ausführen. |
| PhysicianBench | Lange, werkzeugbasierte EHR-Aufgaben über mehrere Schritte. | Bewertet Informationsabruf, Schlussfolgerung, Aktionen und Dokumentation anhand strukturierter Prüfpunkte. |
| ReXrank | Erstellung radiologischer Befunde aus Röntgenbildern. | Die Bewertung umfasst neben Textähnlichkeit auch klinisch orientierte Qualitätsmetriken. |
Abbildung 4. Medizinische Intelligenz ist mehrdimensional. Ein Gesamtscore kann nützlich sein, darf aber Schwächen in sicherheitskritischen Teilbereichen nicht verdecken.
Was müsste ein belastbarer Test konkret leisten?
Der Kommentar fordert einen aufgabenbasierten Rahmen. Daraus ergibt sich ein Prüfprinzip, bei dem jede Aussage über Überlegenheit an einen klar definierten klinischen Zweck gebunden wird.
1. Die Aufgabe muss klinisch bedeutsam sein
Eine Evaluation sollte nicht mit der Frage beginnen, welche Daten leicht verfügbar sind, sondern welches Versorgungsproblem gelöst werden soll. Beispiele wären die Priorisierung akut gefährdeter Patientinnen und Patienten, die Erstellung einer Differenzialdiagnose, die Auswahl der nächsten Untersuchung oder die Prüfung einer Medikationsliste.
2. Der menschliche Vergleich muss passen
Ein Modell darf nicht als „superintelligent“ bezeichnet werden, weil es eine kleine Gruppe fachfremder oder durchschnittlicher Ärzte übertrifft. Bei spezialisierten Aufgaben muss der Vergleich mit angemessen ausgebildeten Fachleuten, gegebenenfalls mit Expertenteams oder dem bestmöglichen aktuellen Versorgungsprozess erfolgen.
Auch die Rahmenbedingungen müssen gleichwertig sein:
- gleiche Falldaten und Bildqualität;
- vergleichbarer Zugang zu Leitlinien und Literatur;
- transparent dokumentierte Zeit- und Kostenlimits;
- gleiche Möglichkeit, zusätzliche Informationen anzufordern;
- vergleichbare Definition des Endpunkts.
3. Überlegenheit braucht statistische Sicherheit
Die einfache Differenz zwischen KI- und Humanleistung kann geschrieben werden als:
Ein positiver Wert allein genügt nicht. Das Konfidenzintervall muss zeigen, dass der Unterschied nicht plausibel durch Zufall erklärt wird. Bei mehreren Aufgaben und Untergruppen müssen Korrekturen und vorher festgelegte primäre Endpunkte verwendet werden.
4. Sicherheit muss eigenständig bewertet werden
Ein Modell kann eine hohe diagnostische Trefferquote besitzen und trotzdem gefährlich sein. Entscheidend sind unter anderem:
- schwere falsche Empfehlungen;
- gefährliche Auslassungen;
- unnötige invasive Untersuchungen;
- falsche Dosierungen oder Kontraindikationen;
- unangemessene Verzögerung dringlicher Behandlung.
Die NOHARM-Auswertung, die in der Supplementtabelle des Kommentars zusammengefasst wird, fand bei 31 untersuchten Sprachmodellen in bis zu 22,2 Prozent der Fälle ein Potenzial für schweren Schaden. Die Sicherheitsleistung korrelierte nur mäßig mit etablierten Wissens- und KI-Benchmarks. Ein Modell kann also in Prüfungsfragen stark und bei Therapieempfehlungen riskant sein.
Eine einfache Schadensrate wäre:
Für die klinische Bewertung müssen Schäden zusätzlich nach Schwere, Wahrscheinlichkeit und Vermeidbarkeit gewichtet werden.
5. Unsicherheit und Hilfesuche gehören zur Intelligenz
Ein sicheres System muss nicht immer antworten. Es muss erkennen, wann Daten fehlen, wann ein Fall außerhalb seines Kompetenzbereichs liegt und wann eine Fachperson hinzugezogen werden sollte. Kalibrierung beschreibt, ob die angegebene Sicherheit mit der tatsächlichen Trefferwahrscheinlichkeit übereinstimmt.
Ein Modell, das bei jeder Antwort 99 Prozent Sicherheit behauptet, ist selbst bei guter Durchschnittsleistung gefährlich. Superintelligentes Verhalten würde auch eine überlegene Entscheidung einschließen, nicht autonom zu handeln.
6. Multimodale Fähigkeiten müssen gemeinsam geprüft werden
Medizinische Entscheidungen beruhen selten nur auf Text. Ein Test sollte je nach Aufgabe Bildgebung, Laborwerte, EKG, Pathologie, Vitaldaten, Medikamente und Verlauf verbinden. Dabei muss geprüft werden, ob das Modell visuelle Informationen tatsächlich nutzt oder lediglich aus dem Begleittext schließt.
7. Agentische Systeme brauchen Handlungstests
Neuere Systeme beantworten nicht nur Fragen, sondern greifen auf elektronische Patientenakten, Rechner, Datenbanken oder Bestellsysteme zu. Damit verändert sich das Risiko. Ein sprachlich richtiger Plan kann durch einen falschen Klick, eine verwechslte Patientin oder einen fehlerhaften API-Aufruf zu Schaden führen.
Agentische Benchmarks müssen daher den vollständigen Ablauf prüfen: Daten finden, richtig interpretieren, Aktion auswählen, Berechtigungen beachten, Ausführung kontrollieren und Ergebnis dokumentieren.
8. Kosten und Effizienz gehören zum Vergleich
Medizinische Leistung bedeutet nicht maximale Diagnostik um jeden Preis. Ein System, das immer alle Tests anordnet, kann diagnostisch erfolgreich, aber medizinisch und wirtschaftlich ungeeignet sein.
Eine vereinfachte Nutzenfunktion könnte lauten:
Die Gewichtungsfaktoren λ, μ und ν hängen vom Versorgungskontext ab. In einer Notfallsituation hat Zeit ein anderes Gewicht als bei der langfristigen Kontrolle einer chronischen Erkrankung.
Warum ein einziger Gesamtscore gefährlich sein kann
Ein Gesamtscore erleichtert Ranglisten, kann aber kritische Unterschiede verdecken. Ein System könnte sehr gute Diagnosewerte erzielen und schwere Sicherheitsdefizite durch Mittelwertbildung ausgleichen. Für Hochrisikoanwendungen wäre das nicht akzeptabel.
Statt eines einzelnen Etiketts sollte ein medizinisches KI-System ein Fähigkeitsprofil erhalten:
- Leistung pro Aufgabentyp und Fachgebiet;
- Schadensrate und Art der Fehler;
- Kalibrierung und Ablehnungsverhalten;
- Leistung bei Bild-, Text- und kombinierten Daten;
- Robustheit gegenüber fehlenden oder widersprüchlichen Informationen;
- Subgruppenleistung nach Alter, Geschlecht, Sprache und Versorgungsumgebung;
- Zeit- und Kostenbedarf;
- Veränderung der Leistung menschlicher Nutzer.
„Superintelligenz“ wäre dann keine Trophäe, die ein Modell für immer erhält, sondern eine überprüfbare Aussage innerhalb eines bestimmten Aufgabenraums.
Stressprüfungen gegen die Realitätslücke
Modelle müssen auch unter Bedingungen getestet werden, die nicht dem idealen Datensatz entsprechen. Dazu gehören:
- unvollständige oder widersprüchliche Akten;
- schlechte Bildqualität;
- seltene Erkrankungen und atypische Präsentationen;
- neue Leitlinien oder Medikamente nach dem Trainingszeitraum;
- mehrsprachige Kommunikation;
- absichtlich irreführende Eingaben;
- veränderte Prävalenzen in anderen Kliniken;
- Ausfall externer Werkzeuge oder Datenbanken.
Abbildung 5. Ein Benchmark kann durch saubere Daten und schwache Vergleichsbedingungen zu optimistisch wirken. Der klinische Einsatz fügt neue Fehlerquellen hinzu.
Von der Laborprüfung zur prospektiven klinischen Studie
Selbst ein sehr realistischer Benchmark bleibt eine Simulation. Der nächste Schritt ist die prospektive Untersuchung im vorgesehenen Arbeitsablauf. Dabei sollte das KI-System wie ein diagnostischer Test oder eine andere medizinische Intervention behandelt werden.
Mögliche Endpunkte sind:
- Zeit bis zur korrekten Diagnose;
- Vermeidung schwerer Fehler;
- Veränderung unnötiger Untersuchungen;
- Behandlungsqualität und Leitlinientreue;
- Patientenergebnisse und Lebensqualität;
- Arbeitsbelastung und Zeitaufwand des Personals;
- Vertrauen, Verständnis und Akzeptanz;
- Verteilungseffekte zwischen verschiedenen Patientengruppen.
Ein Modell, das allein hervorragende Antworten gibt, könnte im klinischen System trotzdem keinen Nutzen erzeugen. Umgekehrt kann ein weniger leistungsfähiges, aber gut integriertes System Fehler reduzieren, weil es zur richtigen Zeit eine verständliche Warnung liefert.
Unabhängigkeit, Versionierung und laufende Überwachung
Ein einmaliger Test reicht für moderne KI nicht aus. Anbieter aktualisieren Modelle, verändern Systemanweisungen und kombinieren sie mit neuen Such- oder Werkzeugfunktionen. Schon eine kleine Änderung kann Verhalten und Sicherheit beeinflussen.
Ein belastbarer Prüfzyklus benötigt deshalb:
- eindeutige Modell- und Softwareversionen;
- gesperrte, nicht öffentlich bekannte Testfälle;
- unabhängige Prüfung außerhalb des Herstellerteams;
- vollständige Protokolle von Eingaben, Werkzeugaufrufen und Antworten;
- Replikation an mehreren Kliniken;
- Überwachung nach der Einführung;
- Neubewertung nach wesentlichen Updates.
Abbildung 6. Medizinische KI-Evaluation ist kein einmaliges Examen. Sie muss nach Modelländerungen und unter realen Versorgungsbedingungen fortgeführt werden.
Welche Rolle spielen MedHELM und HealthBench?
Der geforderte Ansatz baut auf einer breiteren Entwicklung der medizinischen KI-Evaluation auf. HealthBench ersetzt Multiple-Choice-Fragen durch 5.000 realistische, mehrstufige Gesundheitsgespräche. Für jeden Fall formulierten Ärztinnen und Ärzte eigene Bewertungskriterien. Damit können Genauigkeit, Kommunikation, Vollständigkeit und angemessenes Verhalten gemeinsam bewertet werden.
MedHELM geht einen anderen Weg und ordnet medizinische KI-Anwendungen in fünf große Kategorien: klinische Entscheidungsunterstützung, Dokumentation, Patientenkommunikation, medizinische Forschung und Administration. Die Taxonomie umfasst 22 Unterkategorien und 121 konkrete Aufgaben; eine erste Benchmark-Suite enthält 37 Evaluationen.
Diese Rahmen zeigen, warum eine einzige medizinische Prüfung nicht ausreicht. Ein Modell kann bei klinischer Beratung stark, bei Dokumentation mittelmäßig und bei administrativen Werkzeugaufgaben fehleranfällig sein.
Ein Test für Superintelligenz darf keine Werbeaussage werden
Der Begriff besitzt erheblichen wirtschaftlichen Wert. Unternehmen können damit den Eindruck erwecken, ihr System sei Ärzten generell überlegen. Wissenschaftliche Kriterien müssen deshalb verhindern, dass eine enge Laborleistung als umfassende medizinische Autorität vermarktet wird.
Eine verantwortliche Kommunikation sollte immer angeben:
- welche konkrete Aufgabe geprüft wurde;
- welche menschliche Gruppe als Vergleich diente;
- welche Informationen und Werkzeuge verfügbar waren;
- wie Sicherheit und Unsicherheit bewertet wurden;
- ob die Studie retrospektiv, simuliert oder prospektiv war;
- ob Patientenendpunkte untersucht wurden;
- für welche Populationen und Kliniken die Aussage gilt.
Die Formulierung „übertraf Ärzte“ ist ohne diese Angaben wissenschaftlich nahezu wertlos.
Was die Arbeit noch nicht liefert
Der Nature-Medicine-Beitrag ist ein Kommentar und kein formaler Konsensusstandard. Er etabliert noch keine weltweit akzeptierte Schwelle, ab der ein System „medizinisch superintelligent“ genannt werden darf. Auch MAST ist eine wachsende Benchmark-Suite und keine regulatorische Zulassung.
Offen bleiben unter anderem:
- Wie verschiedene Fähigkeitsdimensionen gewichtet werden sollen;
- ob ein System alle medizinischen Fachgebiete beherrschen muss;
- welche menschliche Referenz als „beste verfügbare Expertise“ gilt;
- wie seltene katastrophale Fehler gegen häufige kleine Vorteile abgewogen werden;
- wie Patientinnen und Patienten an der Definition wichtiger Endpunkte beteiligt werden;
- wie internationale Unterschiede in Leitlinien und Ressourcen berücksichtigt werden.
Der Wert der Arbeit liegt daher nicht in einer fertigen Punktzahl. Er liegt in der Forderung, den Begriff erst dann ernsthaft zu verwenden, wenn ein belastbares Messsystem existiert.
Fazit
Medizinische KI hat bereits einzelne Aufgaben erreicht, bei denen sie menschliche Vergleichsgruppen deutlich übertrifft. Das ist ein bedeutender wissenschaftlicher Fortschritt. Es ist jedoch noch kein Beweis für umfassende medizinische Superintelligenz und erst recht kein Nachweis sicherer autonomer Patientenversorgung.
Der Kommentar von Goh und Kolleginnen und Kollegen fordert deshalb einen Wechsel von spektakulären Einzelrekorden zu einer systematischen, aufgabenbasierten Evaluation. Geprüft werden müssen diagnostisches Denken, Management, Sicherheit, Unsicherheit, Multimodalität, Kommunikation und die Fähigkeit, in elektronischen Arbeitsabläufen korrekt zu handeln.
Faire menschliche Vergleichsgruppen, identische Informationsbedingungen, gewichtete Schadensmetriken, Kosten und Zeit, externe Stressprüfungen und prospektive klinische Studien sind unverzichtbar. Ebenso wichtig ist die Frage, ob die Zusammenarbeit von Mensch und KI tatsächlich besser funktioniert als beide allein.
Die vielleicht wichtigste Erkenntnis lautet: Eine wahrhaft überlegene medizinische KI müsste nicht nur häufiger die richtige Antwort kennen. Sie müsste auch wissen, wann Informationen fehlen, wann ihr eigener Vorschlag gefährlich sein könnte und wann ein Mensch übernehmen sollte. Gerade diese Fähigkeit zur begründeten Zurückhaltung dürfte zu den schwierigsten Tests medizinischer Intelligenz gehören.
Literatur und weiterführende Quellen
- E. Goh et al.: „Toward a test of medical AI superintelligence“. Nature Medicine (2026). DOI: 10.1038/s41591-026-04539-8.
- Goh et al.: Supplementary Information mit vergleichenden Studien und klinischen KI-Benchmarks zum genannten Kommentar (2026).
- E. Goh et al.: „Large language model influence on diagnostic reasoning: a randomized clinical trial“. JAMA Network Open 7, e2440969 (2024). DOI: 10.1001/jamanetworkopen.2024.40969.
- E. Goh et al.: „GPT-4 assistance for improvement of physician performance on patient care tasks: a randomized controlled trial“. Nature Medicine 31, 1233–1238 (2025). DOI: 10.1038/s41591-024-03456-y.
- D. McDuff et al.: „Towards accurate differential diagnosis with large language models“. Nature (2025). DOI: 10.1038/s41586-025-08869-4.
- T. Tu et al.: „Towards conversational diagnostic artificial intelligence“. Nature (2025). DOI: 10.1038/s41586-025-08866-7.
- K. Saab et al.: „Advancing conversational diagnostic AI with multimodal reasoning“. Nature Medicine (2026). DOI: 10.1038/s41591-026-04371-0.
- V. Liévin et al.: „Towards conversational AI for disease management“. Nature (2026). DOI: 10.1038/s41586-026-10764-5.
- P. G. Brodeur et al.: „Performance of a large language model on the reasoning tasks of a physician“. Science 392, 524–527 (2026). DOI: 10.1126/science.adz4433.
- D. Ferber et al.: „Towards autonomous medical artificial intelligence agents“. Nature (2026). DOI: 10.1038/s41586-026-10675-5.
- R. K. Arora et al.: „HealthBench: Evaluating large language models towards improved human health“ (2025). DOI: 10.48550/arXiv.2505.08775.
- S. Bedi et al.: „Holistic evaluation of large language models for medical tasks with MedHELM“. Nature Medicine 32, 943–951 (2026). DOI: 10.1038/s41591-025-04151-2.
- Y. Jiang et al.: „MedAgentBench: a virtual EHR environment to benchmark medical LLM agents“. NEJM AI (2025). DOI: 10.1056/AIdbp2500144.
- L. G. McCoy et al.: „Assessment of large language models in clinical reasoning: a script concordance test benchmark“. NEJM AI (2025). DOI: 10.1056/AIdbp2500120.
Quellenhinweis: Der Volltext des Nature-Medicine-Kommentars war zum Zeitpunkt der Erstellung dieses Beitrags abonnementpflichtig. Für die sachliche Einordnung wurden die öffentlich zugängliche Zusammenfassung, die vollständigen Supplementtabellen, die MAST-Plattform sowie die dort zitierten Primärstudien ausgewertet.
Medizinischer Hinweis: Dieser Beitrag behandelt die wissenschaftliche Evaluation medizinischer KI. Er stellt keine Empfehlung dar, Sprachmodelle eigenständig für Diagnosen oder Behandlungsentscheidungen einzusetzen.
Bild- und Nutzungsnachweis: Das Titelbild und die Abbildungen 1–6 wurden eigens für diesen Blogartikel mit selbst erstelltem Programmcode erzeugt. Es wurden keine Abbildungen aus der Fachpublikation, von Kliniken oder von KI-Unternehmen übernommen. Die Grafiken sind für die Verwendung in diesem monetarisierbaren Blog vorgesehen.
Keine Kommentare:
Kommentar veröffentlichen