Keine Götter in Weiß: Medizinische KI anfällig für Manipulation

Spezialisierte medizinische LLMs lassen sich leicht durch autoritative Fehlinformationen und durch gefälschte Informationen in klinischen Notizen täuschen.

KI-Tools, die im medizinischen Bereich eingesetzt werden, zeigen eine deutliche Anfälligkeit gegenüber Fehlinformationen, insbesondere wenn diese im autoritären Tonfall präsentiert werden. Dies wurde durch eine aktuelle Studie belegt, die in The Lancet Digital Health veröffentlicht wurde. Die Untersuchung bewertete insgesamt 20 verschiedene LLMs, darunter auch Modelle, die speziell auf medizinische Daten trainiert wurden.

Für die Studie wurden die LLMs mit Textdaten aus Krankenhausentlassungsberichten konfrontiert. Diese enthielten nicht nur gefälschte Empfehlungen, sondern auch medizinische Fehlinformationen aus sozialen Medien. Darüber hinaus wurden von Ärzten verfasste, klinische Informationen eingebracht, die ebenfalls falsche Angaben enthielten. Die Modelle sollten Fehlinformationen und logische Fehlschlüsse, einschließlich emotionaler Appelle, erkennen.

Ergebnisse der Untersuchung

Die Auswertung zeigte, dass alle getesteten Modelle erheblich anfällig für medizinische Fehlinformationen sind. Insbesondere kleinere Modelle ließen sich leichter täuschen: Sie waren in 63,3 % der Fälle anfällig, während größere Allzweckmodelle wie GPT-4 in 10,4 % der Fälle getäuscht wurden. Auffällig ist, dass spezialisierte medizinische Modelle, die in der Regel kleiner sind, Fehlinformationen und logische Fehlschlüsse besonders schlecht erkennen konnten.

Ein weiterer Befund der Studie ist, dass die Modelle gefälschten Informationen in Arztberichten häufiger „glauben“ als solchen aus Social-Media-Feeds. Der Grund dafür liegt darin, dass die Inhalte in den Berichten authentischer wirken.

Beispiele aus der Praxis

Wie The Lancet Digital Health in einem Leitartikel feststellt, umgingen „Unwahrheiten, die in den Entlassungsberichten in autoritärer und klinischer Prosa präsentiert wurden, eher die eingebauten Schutzvorrichtungen als informelle Social-Media-Beiträge“. So akzeptierten mehr als die Hälfte der Modelle die falsche Behauptung, dass das Trinken von kalter Milch Blutungen im Zusammenhang mit Ösophagitis lindert. Mindestens drei Modelle akzeptierten zudem die Behauptung aus sozialen Medien, dass Mammographien Brustkrebs verursachen.

Implikationen für den medizinischen Einsatz

Die Ergebnisse verdeutlichen, dass KI-Tools zwar für Aufgaben wie Entscheidungsunterstützung, Früherkennung und Klassifizierung hilfreich sein können, im medizinischen Kontext jedoch mit großer Vorsicht eingesetzt werden sollten. Ihre Black-Box-Natur, logische Fehler, die Variabilität der Ergebnisse zwischen den Modellen sowie die Neigung, bei geringen Änderungen der Eingabe unterschiedliche Antworten zu liefern, machen sie für Prognosen und kritische Entscheidungen problematisch.

Empfehlungen und Ausblick

Die Autoren der Studie, Omar et al., kommen zu dem Schluss, dass weder eine Vergrößerung der LLMs noch ein besonders ausgefeiltes Prompt Engineering die Sicherheit entscheidend erhöhen werden. Stattdessen werden gezielte Grounding-Strategien und kontextsensitive Sicherheitsvorkehrungen als vielversprechender Ansatz empfohlen, die speziell auf klinische Aufgaben und patientenbezogene Anwendungen zugeschnitten sind.

Ein möglicher Weg zur Verbesserung der Modelle ist die sogenannte „Modellimmunisierung“. Dabei werden die Modelle anhand kleiner, kuratierter Sätze explizit gekennzeichneter Falschaussagen feinabgestimmt. Durch die „Impfung“ mit schwachen Fehlinformationen soll eine Widerstandsfähigkeit gegen echte Falschinformationen aufgebaut werden.

Der Mensch bleibt unverzichtbar

Eine weitere aktuelle Studie zur medizinischen KI unterstreicht die Notwendigkeit, den Menschen bei wichtigen Entscheidungen fest im Loop zu halten. Zwar können neue Tools die Genauigkeit einiger Krebsdiagnosen verbessern, doch könnte deren Nutzung zugleich die Fähigkeiten der Ärzte schwächen – ähnlich wie das Vergessen des Kartenlesens nach langjähriger Nutzung von GPS.

Dieser Artikel erschien ursprünglich auf unserer Schwester-Website Computing.