Wenn Künstliche Intelligenz Patienten verstümmelt und Ärzte blind macht
Die Einführung von KI-Software hat die Verletzungsrate bei Routine-Eingriffen explodieren lassen
Medizintechnikhersteller liefern sich derzeit einen aggressiven Wettlauf um die Integration von Künstlicher Intelligenz in ihre Produkte. Doch aktuelle Berichte und juristische Dokumente zeichnen ein verheerendes Bild der Realität im Operationssaal. Ein prominentes Beispiel ist das TruDi-Navigationssystem der Johnson & Johnson-Tochter Acclarent (inzwischen verkauft an Integra LifeSciences). Das Gerät, das HNO-Chirurgen assistiert, verzeichnete vor dem KI-Update 2021 lediglich sieben unbestätigte Fehlfunktionen und eine einzige Verletzungsmeldung.
Nach der Implementierung von Machine-Learning-Algorithmen schnellten die Meldungen bei der FDA dramatisch in die Höhe. Es liegen nun Berichte über mindestens 100 Fehlfunktionen und mehr als zehn schwerwiegende Verletzungen vor. Die dokumentierten Fälle sind drastisch: Patienten erlitten Schlaganfälle, Schädelbasis-Punkturen oder den Austritt von Hirnwasser, weil die Software die Position der chirurgischen Instrumente im Kopf der Patienten falsch anzeigte.
Die Rückrufquote bei KI-Medizinprodukten liegt fast doppelt so hoch wie beim übrigen Marktstandard
Das Problem beschränkt sich nicht auf Einzelfälle, sondern weist auf ein systemisches Risiko im MedTech-Sektor hin. Eine Analyse des JAMA Health Forum zeigt, dass KI-basierte Geräte eine signifikant höhere Fehleranfälligkeit aufweisen. Von den mittlerweile 1.357 durch die FDA zugelassenen KI-Geräten waren 60 direkt mit 182 Produktrückrufen verbunden. Besonders alarmierend ist die Geschwindigkeit des Scheiterns: 43 Prozent dieser Rückrufe erfolgten weniger als ein Jahr nach der Marktzulassung.
Auch andere Marktführer sind betroffen. Berichte über Herzmonitore von Medtronic deuten darauf hin, dass Deep-Learning-Algorithmen abnormale Herzrhythmen übersahen. Ebenso gravierend sind Meldungen über die Software 'Sonio Detect' von Samsung Medison, die fetale Körperteile auf Ultraschallbildern falsch identifiziert haben soll. Diese technische Unzulänglichkeit gefährdet nicht nur Patientenleben, sondern stellt ein massives Haftungsrisiko für Investoren dar.
„Der Sonio-Detect-Software-KI-Algorithmus ist fehlerhaft, beschriftet fetale Strukturen falsch und ordnet sie den falschen Körperteilen zu“, so ein Bericht an die FDA vom Juni 2025.
Die US-Aufsichtsbehörde FDA verliert durch Sparmaßnahmen die Kontrolle über die technologische Sicherheit
Während die Komplexität der Systeme steigt, bricht die staatliche Kontrolle weg. Insider berichten, dass die FDA massiv unter Personalmangel leidet, insbesondere in der kritischen Abteilung 'Division of Imaging, Diagnostics and Software Reliability' (DIDSR). Im Zuge von Kostensenkungsmaßnahmen, die mit der 'Department of Government Efficiency' (DOGE)-Initiative unter Elon Musk in Verbindung gebracht werden, verlor die Einheit rund ein Drittel ihrer spezialisierten KI-Wissenschaftler.
Das Zulassungsverfahren selbst weist gravierende Lücken auf. Die meisten KI-Geräte gelangen ohne neue klinische Studien auf den Markt, indem sie sich auf die Zulassung älterer, nicht-KI-basierter Vorgängermodelle berufen. Diese regulatorische Praxis öffnet Tür und Tor für unerprobte Software, die am lebenden Patienten 'lernt' – mit fatalen Folgen.
