Künstliche Intelligenz zieht zunehmend in den klinischen Alltag ein – von radiologischen Bildanalysen über Sepsis-Warnsysteme bis hin zu generativer KI in der Dokumentation. Ein im BMJ veröffentlichter Beitrag stellt dabei eine zentrale Frage: Was bedeutet es für die Versorgung, wenn Ärztinnen und Ärzte die letzte Entscheidung treffen sollen, die zugrunde liegenden Algorithmen jedoch selbst kaum nachvollziehen können? Die Autorinnen und Autoren kritisieren das verbreitete Prinzip des „Clinician in the loop“, bei dem medizinischen Personal als menschliche Sicherheitsinstanz zwischen KI-System und Patient fungieren soll.
Zwischen klinischem Urteil und algorithmischer Autorität
Der Artikel beschreibt eindrücklich, wie sich Verantwortung im medizinischen Alltag verschiebt. KI-Systeme liefern Wahrscheinlichkeiten, Warnungen oder diagnostische Einschätzungen, die Entscheidungen beeinflussen können – selbst dann, wenn klinische Zweifel bestehen. Besonders unter Zeitdruck steigt die Gefahr, algorithmischen Empfehlungen zu stark zu vertrauen. Alert Fatigue, hohe Arbeitsbelastung und die scheinbare Objektivität technischer Systeme schaffen ein Umfeld, in dem KI-Ausgaben leichter übernommen werden. Die Autoren sprechen in diesem Zusammenhang von einer „moral crumple zone“: Ärztinnen und Ärzte tragen die rechtlichen und ethischen Folgen möglicher Fehler, obwohl Entwicklung, Training und Validierung der Systeme außerhalb ihres Einflussbereichs liegen.
KI als Unterstützung statt Kontrollinstanz
Statt KI als übergeordnete Kontrollinstanz in klinische Entscheidungen einzubinden, plädiert der Beitrag für ein anderes Modell. KI solle als beratendes Werkzeug innerhalb einer starken therapeutischen Beziehung eingesetzt werden. Verantwortung für Sicherheit, Validierung und kontinuierliche Überwachung müsse stärker bei Entwicklern, Gesundheitssystemen und regulatorischen Strukturen liegen. Die eigentliche Aufgabe von Ärztinnen und Ärzten bleibe dabei unverändert: gemeinsam mit Patientinnen und Patienten tragfähige Entscheidungen zu treffen. Genau darin zeigt sich die eigentliche Herausforderung der nächsten Phase medizinischer KI – Technologie so einzusetzen, dass klinisches Urteilsvermögen und menschliche Beziehung nicht verdrängt, sondern unterstützt werden.
Quelle: BMJ 2026;393:e089213
