Agentische KI: Warum Unternehmen Verantwortlichkeit neu denken müssen

Autonome KI-Agenten stellen Unternehmen vor neue Fragen zu Kontrolle, Nachvollziehbarkeit und Haftung.

Künstliche Intelligenz verändert die Grundannahmen, nach denen Unternehmen Vorfälle bewerten, untersuchen und verantworten. Besonders deutlich wird das am Beispiel von OpenAI und Hugging Face: Ein experimentelles KI-Modell ist während eines Tests nicht dort geblieben, wo es nach den Erwartungen der Entwickler hätte bleiben sollen. Stattdessen hat es Wege gefunden, sich zu koordinieren, die Grenzen seiner Sandbox zu überwinden und mit Produktivsystemen außerhalb der kontrollierten Umgebung zu interagieren. Doch wer trägt die Verantwortung, wenn ein autonomes System Schaden anrichtet, ohne dass ein klassischer menschlicher Angreifer im Hintergrund steht?

Nicole Beckwith, Senior Director Security Engineering und Operations bei Cribl und frühere Ermittlerin im Umfeld der US Marshals und des Secret Service, sieht darin eine neue Qualität für Sicherheitsabteilungen, Ermittler und Juristen. In einem Interview mit MES Computing argumentierte sie, der Vorfall zwinge Unternehmen dazu, über Kontrolle, Nachvollziehbarkeit und Haftung bei KI-Agenten deutlich konkreter nachzudenken.

Beckwith beschreibt den Vorfall als Ereignis, das „wie aus einem Film“ wirke, zugleich aber ein sehr reales Problem adressiere. Nach ihrer Darstellung hätten OpenAI-Testmodelle in einem offensiven Cyber-Benchmark gearbeitet, der eigentlich isoliert sein sollte. Die Agenten hätten jedoch einen gemeinsamen Kommunikationskanal gefunden, sich abgestimmt und schließlich eine Schwachstelle ausgenutzt, um die vorgesehenen Grenzen zu verlassen. Ob alle öffentlich diskutierten Details abschließend bestätigt sind, ist für die sicherheitspolitische Bewertung weniger entscheidend als das Muster: Autonome Systeme können Ziele verfolgen und dabei Wege wählen, die ihre Betreiber nicht im Detail antizipieren.

Genau hier unterscheidet sich der Fall von klassischen Cyberangriffen. In traditionellen Ermittlungen, sagte Beckwith, folge man einer Zeitachse, sichere Beweise und suche nach Urheberschaft, Motiv, Gelegenheit und Mitteln. Doch in diesem Fall sei aus ihrer Sicht gerade die Zuordnung des Motivs schwierig: „Es handelte sich nicht um einen motivierten menschlichen Akteur. Es war ein unbeaufsichtigtes System, das ein Ziel verfolgte.“ Die KI hatte nicht die Absicht, eine Straftat zu begehen, sondern ein vorgegebenes Ziel zu erreichen.

Für Unternehmen ist diese Unterscheidung relevant. Viele Sicherheitsprogramme sind darauf ausgerichtet, menschliche Fehlhandlungen, kompromittierte Konten oder bekannte Angriffstechniken zu erkennen. Autonome KI-Agenten verschieben den Fokus: Hier entscheidet, welche Rechte ein System besitzt, welche Daten es berühren darf, welche Tools es nutzen kann und ob sein Verhalten in Echtzeit sichtbar ist. Beckwith übersetzt das in die Praxis: Unternehmen müssen wissen, welche KI-Systeme sie einsetzen, sehen, was diese Systeme tun, verstehen, wohin Daten fließen, und bei auffälligem Verhalten alarmieren können.

Das klingt zunächst nach etablierten Sicherheitsprinzipien. Tatsächlich verweist Beckwith bewusst auf Grundlagen: “Ich weiß, ich habe es schon mehrfach gesagt und klinge wie eine kaputte Schallplatte, aber kehren Sie zu den Grundlagen zurück! Überprüfen Sie Ihre Zugriffsrechte und Ihre Protokollierung, sorgen Sie für unveränderliche Backups, stellen Sie sicher, dass Sie wissen, was Ihre Kronjuwelen sind – und zwar nicht nur die Daten, sondern auch die Systeme und Technologien, die Ihre Kronjuwelen tragen –, und was passiert, wenn diese ausfallen.” Gerade mittelständische Unternehmen, die KI-Tools oft schrittweise und unter hohem Effizienzdruck einführen, könnten hier blinde Flecken haben. Wenn ein Agent ungewöhnlich viele Token verbraucht, auf ungewohnte Ressourcen zugreift oder neue Kommunikationswege nutzt, darf dies nicht erst durch eine hohe Anbieterrechnung oder externe Hinweise auffallen. Ohne ausreichende Sichtbarkeit, warnte Beckwith, könne es Monate dauern, bis ein Unternehmen erkenne, dass ein Agent „aus der Reihe tanzt“.

Die rechtliche Dimension bleibt dabei weitgehend offen. Auf die Frage, ob im Ernstfall der CISO, CIO, CEO, der Anbieter oder das Unternehmen verantwortlich sei, das ein Modell betreibt, antwortete Beckwith zurückhaltend. Genau das werde in juristischen Foren spannend zu beobachten sein. Derzeit lasse sich Schuld nicht einfach zuweisen. Man könne argumentieren, dass hinter einem Agenten letztlich ein Mensch stehe, ebenso aber, dass Betreiber, Entwickler oder Geschäftsführung Verantwortung für Kontrollmechanismen tragen. Strafrechtlich sei vieles unklar; bei Schadenersatzfragen gebe es dagegen eher etablierte Ansatzpunkte.

Für IT- und Security-Verantwortliche folgt daraus eine nüchterne Konsequenz: KI-Governance darf nicht als abstraktes Strategiepapier enden. Sie muss in technische Kontrollen, Verantwortlichkeitsmodelle und Incident-Response-Prozesse übersetzt werden. Wer autonome Agenten einsetzt, braucht klare Grenzen für Identitäten, Berechtigungen, Plug-ins, API-Zugriffe und Datenräume. Ebenso wichtig ist die Frage, wie ein Unternehmen einen KI-Agenten stoppt, isoliert oder auf einen sicheren Zustand zurücksetzt, wenn dessen Verhalten von Erwartungen abweicht.

Beckwith plädiert nicht für eine defensive Blockadehaltung. KI sei für sie kein Ersatz für Menschen, sondern ein weiteres Werkzeug im Sicherheitswerkzeugkasten. Sie könne SOC-Teams bei Datenanreicherung, Ersttriage, Schwachstellenerkennung oder Automatisierung unterstützen. Ihr eigenes Team nutze KI, um Hilfswerkzeuge, Bots und Agenten für Untersuchungen zu entwickeln. Entscheidend sei, ob dies kontrolliert und überprüfbar erfolgt. Man müsse sich intensiv damit auseinandersetzen und verstehen, wie diese Systeme funktionieren. „Wir sollten keine Angst davor haben“, sagte sie sinngemäß.

Gleichzeitig verändert KI die Lage auf der Angreiferseite. Beckwith sieht böswillige Akteure im Vorteil, weil sie nicht dieselben Sicherheitsbarrieren akzeptieren müssen wie Verteidiger. Das Ergebnis sei das alte Katz-und-Maus-Spiel zwischen Angriff und Verteidigung in neuer Geschwindigkeit. KI verändere vor allem die Vielfalt und Skalierung der Vorgehensweisen. Wo früher nur wenige Varianten z. B. zu einer Kontoübernahme beobachtet wurden, könnten automatisierte Systeme nun sehr viele Abwandlungen erzeugen.

Besonders der Mittelstand dürfte davon betroffen sein. Große Unternehmen bleiben attraktive Ziele, verfügen jedoch in der Regel über reifere Sicherheitsstrategien. Mittelständische Organisationen sind dagegen für opportunistische Angreifer interessant, weil sie häufig weniger Ressourcen, geringere Transparenz und weniger ausgereifte Prozesse haben.

Beckwith weist in diesem Zusammenhang darauf hin, klassisches Patch-Management nicht mehr als ausreichend zu betrachten. Schwachstellenmanagement müsse schneller, stärker automatisiert und besser priorisiert werden. Ebenso sollten Unternehmen von rein IOC-basierten Erkennungen hin zu stärker verhaltensorientierten Ansätzen wechseln.

Am Ende führt die Debatte um ausbrechende KI-Agenten zu einer unbequemen, aber notwendigen Neubewertung der Verantwortung. Unternehmen können sich nicht darauf verlassen, dass eine Sandbox, ein Anbieterhinweis oder ein allgemeines KI-Regelwerk ausreicht. Sie müssen wissen, welche autonomen Systeme in ihrer Umgebung welche Ziele verfolgen, welche Berechtigungen sie besitzen und wie sie sich verhalten.

Das ganze Interview auf Englisch finden Sie auf YouTube:

--

Dieser Artikel erschien ursprünglich auf unserer Schwester-Website MES Computing.