Es gibt eine Sorte Fehler, über die wir uns empören, und eine Sorte, die wir nicht einmal bemerken.
Wenn ein KI-System in der Medizin einen Fehler macht, wird es zur Schlagzeile. Der Algorithmus hat übersehen, verwechselt, falsch eingeschätzt. Zu Recht schauen wir genau hin. Wenn wir ein KI-System aus Vorsicht nicht einsetzen und dadurch etwas übersehen wird, das es gefunden hätte, passiert nichts. Keine Schlagzeile, keine Empörung, keine Statistik. Der Fehler ist real, aber er ist unsichtbar.
Über diese Asymmetrie möchte ich heute schreiben. Sie ist unbequem, auch für mich.
Zwei Arten, falschzuliegen
In eng umgrenzten Feldern ist maschinelle Mustererkennung inzwischen sehr gut. Bei bestimmten Bildbefunden, bei bestimmten Screenings erreicht sie eine Trefferquote, die mit erfahrenen Fachleuten mithält und den Durchschnitt in der Fläche übertreffen kann. Ich sage bewusst: in eng umgrenzten Feldern, und nicht überall. Aber dort, wo es zutrifft, trifft es zu.
Trotzdem setzen wir diese Systeme zögerlich ein. Aus Haftungsangst, aus Standesinteressen, aus schierer Trägheit der Institutionen. Und meistens rahmen wir dieses Zögern als Vorsicht, als Verantwortung, als Schutz der Patientin.
Hier lohnt der Blick der Ökonomin, denn wir denken in solchen Situationen ständig einen Fehler mit, der im Alltag untergeht: die Opportunitätskosten. Jede Entscheidung hat nicht nur die Kosten dessen, was sie tut, sondern auch die des Nutzens, auf den sie verzichtet. Wer aus Vorsicht ein besseres Verfahren nicht einsetzt, entscheidet sich nicht für null Risiko. Er entscheidet sich für ein anderes Risiko, nämlich das des schlechteren bestehenden Verfahrens. Er hat nur das eine sichtbar gemacht und das andere versteckt.
Warum wir die eine Sorte Fehler bevorzugen
Menschen behandeln diese beiden Fehler nicht gleich, und das aus einem tief sitzenden Grund.
Ein Schaden, den eine Maschine aktiv anrichtet, fühlt sich schlimmer an als ein Schaden, den wir durch Unterlassen zulassen, selbst wenn der zweite größer ist. Ein Fehler, den ein System begeht, hat einen Verantwortlichen, einen Hersteller, eine Klage. Ein Fehler, der entsteht, weil wir beim Alten geblieben sind, hat keine Adresse. Niemand haftet dafür, dass die Dinge geblieben sind, wie sie waren.
Also optimieren unsere Institutionen rational auf das Vermeiden des sichtbaren, zurechenbaren Fehlers und nehmen den unsichtbaren, nicht zurechenbaren in Kauf. Das ist menschlich verständlich und im Ergebnis manchmal grausam. Denn die Patientin, deren Befund ein besseres Verfahren gefunden hätte, ist genauso betroffen wie die, der ein Algorithmus geschadet hätte. Sie steht nur in keiner Statistik, weil ihr Fall nie stattgefunden hat.
Das ist kein Freibrief
Jetzt muss ich sofort das Gegengift dazugeben, weil dieser Gedanke gefährlich wird, wenn man ihn allein lässt.
Nichts davon heißt, KI unkontrolliert in die Medizin zu lassen. Die Systeme versagen an den Rändern, sie versagen bei seltenen Fällen, sie versagen dort, wo die Trainingsdaten dünn oder verzerrt waren. Ich habe oft genug über genau diese Verzerrungen geschrieben, gelehrt und diskutiert. Der Einwand gilt. Vorsicht ist nicht falsch.
Der Punkt ist ein anderer. Vorsicht ist nicht kostenlos, und wir tun so, als wäre sie es. Wir verbuchen die Risiken des Einsatzes sorgfältig und die Risiken des Nichteinsatzes gar nicht. Eine ehrliche Abwägung würde beide Spalten führen. Sie würde fragen: Was kostet es, dieses System einzusetzen, und was kostet es, es nicht einzusetzen? Und sie würde die zweite Zahl genauso ernst nehmen wie die erste.
Diese zweite Zahl auszurechnen ist schwer, unbequem und politisch heikel. Aber sie nicht auszurechnen bedeutet nicht, dass sie null ist. Es bedeutet nur, dass wir uns entschieden haben, nicht hinzusehen.
Ich lese jede Antwort: per E-Mail oder auf LinkedIn.
Ein Hinweis in eigener Sache: Dies ist ein Text über eine Denkweise, nicht über einen konkreten medizinischen Fall. Über die eigene Gesundheit entscheidet hoffentlich niemand nach einer Kolumne, sondern mit der Ärztin seines Vertrauens ;).