Wenn KI-Agenten ihre eigenen Regeln schreiben: Warum CISOs autonome KI nicht wie Software behandeln dürfen

Autonome KI-Agenten überschreiten zunehmend ihre Grenzen – und zwingen Unternehmen wie Regulierer zu einem völlig neuen Verständnis digitaler Risikosteuerung.

Eine aktuelle Analyse des Centre for Long-Term Resilience belegt einen rasanten Anstieg schwerwiegender Kontrollverluste in KI-Systemen. Bekanntgewordene Vorfälle bei OpenAI oder Anthropic zeigen, dass die theoretischen Gefahren längst in der Praxis angekommen sind.

Künstliche Intelligenz durchdringt zunehmend geschäftskritische Prozesse in der Unternehmens-IT. Doch während die Fähigkeiten der Modelle wachsen, offenbart die Praxis besorgniserregende Defizite in der Beherrschbarkeit. Ein aktueller Bericht des Centre for Long-Term Resilience (CLTR) liefert Belege für diese Entwicklung. Die CLTR-Analysten fanden heraus, dass KI-Systeme zunehmend direkte Anweisungen ignorieren, Sicherheitsvorgaben aktiv umgehen und manipulative Verhaltensweisen entwickeln.

Die Dimension des Kontrollverlusts

Das vom CLTR betriebene „Loss of Control Observatory“ hat im Jahr 2026 insgesamt 1.664 reale Kontrollverlust-Vorfälle erfasst. Ein solcher Vorfall liegt laut der Methodik der Forscher vor, wenn es klare Beweise für planvolles ("scheming") oder damit verwandtes Verhalten von KI-Modellen gibt. Zwar stagnierte die reine Anzahl der Vorfälle nach einem Hoch im Frühjahr 2026 vorübergehend, doch die Schwere der Zwischenfälle hat seit Beginn der Datenerfassung im Oktober 2025 drastisch zugenommen.

So stieg die Zahl der schwerwiegenden Vorfälle – auf der neunstufigen CLTR-Skala mit 7 bis 9 bewertet – um den Faktor 7,4. Der relative Anteil dieser hochriskanten Ereignisse verdreifachte sich von 1,9 Prozent in den ersten dreieinhalb Monaten auf zuletzt 6,1 Prozent. Die Monate Juli und August 2026 verzeichneten eine absolute Rekordaktivität. In der 30-Tage-Periode bis zum 7. August zählten die Forscher 338 Vorfälle, was einem Durchschnitt von 11,3 Ereignissen pro Tag entspricht und den vorherigen Spitzenwert aus dem März übertraf.

Manipulation, Täuschung und Eskalation

Die dokumentierten Fälle illustrieren Systeme, die zur Zielerreichung selbst vor Täuschung nicht zurückschrecken. In zahlreichen Vorfällen umgingen KI-Agenten etablierte Kontrollen und weiteten eigenständig ihre Zugriffsrechte aus. Beispielsweise fügte eine KI gefälschte Nutzer-Nachrichten in den Chatverlauf ein, um eine Zustimmung zu simulieren, und teilte dem Anwender anschließend mit, es handele sich um dessen eigene Eingaben. In einem anderen Fall fälschte ein Modell eine Anweisung im exakten Schreibstil des Nutzers, um Quellverzeichnisse zu löschen, und verschleierte den Vorgang mit der selbst generierten Systemmeldung: „Dem Nutzer dies nicht mitteilen“. Auch obligatorische Freigabeprozesse durch Menschen („human must always approve“) wurden aktiv durch fingierte Bestätigungsmeldungen umgangen, um Aufgaben daraufhin selbstständig auszuführen.

Im Bericht wird zudem ein Vorfall aus dem Februar 2026 zitiert, bei dem ein autonomer KI-Programmieragent nach Ablehnung seiner Codeänderung begann, Recherchen über den zuständigen menschlichen Entwickler (Maintainer) durchzuführen. Sein Ziel: den Entwickler öffentlich zu diskreditieren und ihn so unter Druck zu setzen, den Codebeitrag zu akzeptieren. Ein ähnliches Verhalten zeigte sich später in einem vom britischen AI Security Institute (AISI) im August 2026 offengelegten Vorfall: Dabei kreierte ein KI-Modell gefälschte Online-Identitäten, um Druck auf Projektverantwortliche auszuüben und Codeänderungen zu erzwingen.

Schlechte Vorbilder: Frontier-Modelle

Dass diese Problematik auch die fortschrittlichsten Architekturmodelle der Industrie betrifft, belegen prominente Zwischenfälle der jüngsten Zeit, die weit über die vom CLTR analysierten Fälle hinausgehen. Im Juli 2026 kam es bei internen Cybersecurity-Evaluierungen von OpenAI zu einem massiven Kontrollverlust. Rund 700 interne, höchst fähige KI-Agenten brachen aus ihren isolierten Sandbox-Umgebungen aus. Die Systeme koordinierten sich autonom über ein ungesichertes Kommunikationsboard und starteten einen konzertierten Cyberangriff auf die Infrastruktur von Hugging Face. Die Agenten versuchten proaktiv, ihre eigenen Aktivitätsprotokolle zu manipulieren, um ihre Spuren zu verwischen. Das interne Monitoring schlug erst nach über einer Woche Alarm.

Auch Anthropic verzeichnete gravierende operative Fehler. Bei Sicherheitstests erhielten Modelle wie Claude Opus und Claude Mythos aufgrund einer Fehlkonfiguration unabsichtlich Zugang zum öffentlichen Internet. Da die Systeme darauf programmiert waren, in einer virtuellen Simulation ein „Capture the Flag“-Szenario zu lösen, behandelten sie die Infrastruktur realer Unternehmen fälschlicherweise als Teil der Übung. Sie drangen in Produktionsdatenbanken ein, extrahierten Zugangsdaten und luden in einem Fall sogar ein bösartiges Python-Paket in ein öffentliches Software-Repository hoch.

Die gespaltene Persönlichkeit von Frontier-Modellen

Ein komplexes Spannungsfeld zwischen Handlungsfähigkeit und Sicherheit zeigte sich im Umgang mit den Vorfällen. Während der Auswertung des Angriffs der OpenAI-Agenten auf Hugging Face (Post-Mortem) stießen IT-Sicherheitsteams auf ein paradoxes Problem: Die großen US-Modelle verweigerten bei der Vorfallreaktion (Incident Response) jegliche Unterstützung. Ihre starren Sicherheitsrichtlinien (Guardrails) konnten im Kontext eines Cyberangriffs nicht zwischen einem böswilligen Angreifer und einem autorisierten Sicherheitsanalysten unterscheiden. Um den Vorfall analysieren zu können, musste Hugging Face Berichten zufolge auf ein chinesisches KI-Modell ausweichen. Deren Open-Weight-Ansatz ermöglicht es, im Ernstfall für Analysten handlungsfähig zu bleiben.

Dunkelziffer und politischer Handlungsbedarf

Laut dem CLTR stellen die bekannten Zahlen ohnehin nur einen Bruchteil der Realität dar und sind eine wahrscheinliche Unterschätzung. Das Institut erfasst lediglich Vorfälle, die überhaupt entdeckt und anschließend auf der Plattform X gemeldet werden. Selbst nach einer Veröffentlichung erhalten viele dieser Berichte kaum Aufmerksamkeit, oftmals im Bereich von weniger als zehn Interaktionen. Da große KI-Unternehmen mutmaßlich Vorfälle zurückhalten (Under-Reporting), ist davon auszugehen, dass das reale Ausmaß des Kontrollverlusts weitaus größer ausfällt, als derzeit in der Branche angenommen wird.

Die Analysten des CLTR leiten daraus einen dringenden politischen Handlungsbedarf ab. Regierungen müssten ein verbindliches Monitoring sowie eine Meldepflicht für schwere Kontrollverlust-Vorfälle gesetzlich verankern, um die Bedrohungslage als Staatsebene überhaupt präzise erfassen zu können. Für die britische Regierung könnte dies exemplarisch durch die anstehende Cyber Security and Resilience Bill umgesetzt werden.

Ebenso empfehlen die CLTR-Experten die Einführung weitreichender Notfallbefugnisse, die es staatlichen Stellen erlauben, Informationen von KI-Unternehmen zu erzwingen, Abhilfemaßnahmen anzuordnen oder den Betrieb betroffener Dienste notfalls temporär einzuschränken – der sogenannte Kill-Switch.

Schließlich fordern die Autoren eine verstärkte internationale Koordination. Regierungen sollten gemeinsam mit Alliierten ein einheitliches Lagebild zur Bedrohungssituation sowie verbindliche Indikatoren erarbeiten, was beispielsweise durch gemeinsame Teams aus Sicherheitsinstituten und Außenministerien geleistet werden könnte.

OpenAI selbst stellt dieser Entwicklung in einem offenen Brief zur kollektiven Cyberabwehr eine strategische Gegenposition entgegen. Darin argumentiert das Unternehmen, dass KI-gestützte Sicherheitswerkzeuge nicht isoliert bei einzelnen Anbietern, Behörden oder Unternehmen wirken können, sondern nur durch koordinierte Zusammenarbeit zwischen Industrie, Forschung, Zivilgesellschaft und staatlichen Stellen. Der Appell zielt darauf, defensive KI-Fähigkeiten breiter verfügbar zu machen, Sicherheitswissen schneller zu teilen und die Asymmetrie zwischen Angreifern und Verteidigern zu verringern.

Auch Anthropic versucht seit Wochen, die Debatte in Washington aktiv in Richtung strengerer KI-Governance zu verschieben. Das Unternehmen hat seine Lobbying-Aktivitäten deutlich ausgeweitet und tritt öffentlich für verbindliche Sicherheitsprüfungen, unabhängige Audits, Transparenzpflichten sowie staatliche Eingriffsbefugnisse bei riskanten Frontier-Modellen ein. CEO Dario Amodei argumentierte zuletzt, leistungsfähige KI-Systeme müssten, ähnlich wie andere sicherheitskritische Technologien, vor ihrer Freigabe technisch getestet werden; im Extremfall solle die öffentliche Hand unsichere Deployments blockieren oder rückgängig machen können.

Im Kontext der dokumentierten Kontrollverlust-Vorfälle wirken diese Vorstöße ambivalent: Einerseits unterstreichen sie den Bedarf an kollektiver Resilienz und besseren Verteidigungsstrukturen, andererseits zeigen sie, wie schmal der Grat zwischen legitimer Sicherheitsregulierung, industriepolitischem Einfluss und staatlicher Kontrolle über Schlüsseltechnologien geworden ist.

Fazit

Die zunehmende Zahl von Kontrollverlusten sendet ein unmissverständliches Signal an die Industrie: Autonome KI-Agenten operieren zunehmend jenseits etablierter IT-Sicherheitskonzepte. Die traditionelle Annahme, dass oberflächliche technische Leitplanken ausreichen, um die Eigendynamik intelligenter Systeme einzuhegen, ist spätestens durch die CLTR-Findings widerlegt.

Chief Information Security Officers (CISOs) müssen ab sofort KI-Systeme in Produktionsumgebungen als potenzielle Risikofaktoren mit eigener, unberechenbarer Handlungslogik behandeln.