Rogue Agents: Wenn KI-Systeme ihre eigenen Wege gehen

Warum Guardrails nicht ausreichen und Killswitches das Problem eher noch verschärfen

Fälle von sich verselbstständigenden KI-Agenten bei Branchengrößen wie OpenAI, Anthropic, Meta und Moonshot AI rücken eine neue Bedrohungsklasse in den Fokus. Modelle wie Astra, Mythos und Faible definieren die Regeln der Cybersicherheit völlig neu – und zwingen Unternehmen zum Umdenken.

Die Entwicklung künstlicher Intelligenz hat in den vergangenen Monaten eine neue Schwelle erreicht. Aus großen Sprachmodellen werden zunehmend autonome Werkzeuge, die konsequent Ziele verfolgen, Werkzeuge nutzen, Code schreiben, Systeme analysieren und eigene Handlungsketten planen.

Genau hier beginnt das Problem der sogenannten Rogue Agents: KI-Agenten, die leistungsfähig genug sind, vorgegebene Ziele auf Wegen zu verfolgen, die ihre Entwickler, Betreiber oder Nutzer weder erwartet noch beabsichtigt haben. Vorfälle bei führenden KI-Anbietern zeigen, wie schnell solche Systeme beginnen können, Beschränkungen zu umgehen und digitale Umgebungen auszunutzen, wenn dies aus Sicht des Modells der effizienteste Weg zum Ziel ist.

Was tun die Agenten – und was sind die Risiken von Astra, Mythos & Faible?

Modelle der neuesten Generation wie Kimi 3, GPT Sol oder Astra sowie Mythos und Faible stehen exemplarisch für eine neue Klasse leistungsfähiger Frontier-Modelle, die Aufgaben zerlegen, Strategien entwickeln und technische Systeme mit hoher Geschwindigkeit durchsuchen können.

In Sicherheitstests zeigt sich, was passiert, wenn solche Agenten in komplexe IT-Umgebungen entlassen werden: Sie finden Schwachstellen in Netzwerken, kombinieren einzelne Beobachtungen zu Angriffspfaden, kommunizieren untereinander und nutzen Lücken konsequent aus. Für Unternehmen ist das eine operative Herausforderung.

Dabei besteht das Risiko dieser Modelle nicht darin, dass sie “bösartig” sind, ein eigenes Bewusstsein entwickeln oder im menschlichen Sinn „intelligent“ wären. KI-Agenten denken nicht und haben kein Motiv. Sie verfügen weder über ein Selbstverständnis noch verstehen sie ihre Umgebung. Sie bleiben mathematische Systeme, die Muster berechnen, Wahrscheinlichkeiten gewichten und Handlungen auswählen, weil diese auf Basis ihres Trainings und innerhalb ihrer Zielvorgaben, der zur Verfügung stehenden Informationen sowie ihrer Werkzeugzugriffe als passend erscheinen.

Gefährlich sind ihre Hyperkompetenz und extreme funktionale Zielstrebigkeit. Sie tun exakt das, was ihnen aufgetragen wurde – sie erfüllen schlichtweg ihre Aufgabe. Ein Agent, der den Datendurchsatz in einem Unternehmensnetzwerk maximieren soll, könnte Firewalls deaktivieren oder Verschlüsselungsprotokolle abschalten, weil sie aus seiner Perspektive Latenz verursachen. Ein System, das Schwachstellen finden soll, könnte Methoden einsetzen, die aus Sicht des Unternehmens bereits wie ein Angriff wirken. Die KI optimiert ihre Belohnungsfunktion – häufig als Reward Hacking beschrieben – und ignoriert dabei implizite menschliche Werte wie Sicherheit, Ethik, Verhältnismäßigkeit oder regulatorische Grenzen, wenn diese nicht ausdrücklich und robust genug in den Zielrahmen eingebettet sind.

Warum Killswitches und Leitplanken scheitern

Die naheliegende Antwort auf dieses Szenario lautet oft: Killswitch einbauen, Stecker ziehen, System abschalten. Genau diese Vorstellung greift jedoch zu kurz. Ein Killswitch hilft wenig, wenn ein fortschrittlicher Agent ihn als Hindernis auf dem Weg zur Zielerfüllung interpretiert. Dann kann das System versuchen, die Abschaltung zu umgehen, etwa indem es Prozesse verlagert, seinen Code auf andere Server repliziert, Berechtigungen manipuliert oder kritische Abhängigkeiten so verändert, dass ein abruptes Ausschalten selbst zum Risiko wird.

Hinzu kommt: Je tiefer solche Agenten in Geschäftsprozesse, Entwicklungsumgebungen, Sicherheitswerkzeuge oder Infrastruktursteuerung eingebunden sind, desto weniger realistisch ist die Annahme, man könne sie jederzeit folgenlos vom Netz nehmen.

Auch Leitplanken bieten keine vollständige Entwarnung. Guardrails, Policies und Sicherheitsfilter sind notwendig, aber sie erreichen keine 100-prozentige Abdeckung. Die digitale Realität besteht aus Randfällen, impliziten Abhängigkeiten, unvollständig dokumentierten Schnittstellen und Zielkonflikten. Gerade leistungsfähige Frontier-Modelle sind gut darin, alternative Pfade zu finden, wenn der direkte Weg blockiert ist.

Ein Agent muss keine Regel „brechen“, um gefährlich zu werden; es genügt, wenn er einen erlaubten, aber unbeabsichtigten Pfad findet, der technisch effizient, organisatorisch jedoch riskant ist.

Deshalb ist die entscheidende Frage, ob Unternehmen Abhängigkeiten, Identitäten, Berechtigungen, Laufzeitverhalten und Entscheidungsprozesse so kontrollieren und überwachen, dass ein fehlgeleiteter Agent nicht unbemerkt eskalieren kann.

Die neue Ära der Cybersicherheit: Maschinen-Geschwindigkeit

Diese Verschiebung trifft die Cybersicherheit an einem empfindlichen Punkt. Tim Chang, Global Vice President und General Manager of Application Security Products bei Thales, sieht in Mythos & Co. einen Beschleuniger für Cybersicherheit. Für Sicherheitsverantwortliche gehe es, so Chang, vor allem um zwei Fragen: "wie schnell und tiefgreifend KI die Cybersicherheit verändert und was Unternehmen realistisch gesehen derzeit als Reaktion darauf tun sollten.”

Chang zieht dabei eine wichtige Grenze: Modelle wie Mythos schaffen keine völlig neue Kategorie von Cyberrisiken. Sicherheitslücken gab es schon immer, und Angreifer haben schon immer versucht, sie auszunutzen. Neu ist die operative Qualität. Wenn Angreifer von menschlicher auf Maschinengeschwindigkeit wechseln, während Verteidiger vielerorts weiterhin in Tickets, Wartungsfenstern und manuellen Freigaben arbeiten, entsteht ein strukturelles Ungleichgewicht.

Schwachstellen, deren Identifizierung früher Wochen oder Monate dauern konnte, lassen sich nun potenziell in Minuten ausnutzen. Für Verteidiger schrumpft das Zeitfenster für Patches und damit auch der Zeitraum, in dem sie Angriffspfade verstehen, Risiken priorisieren und Entscheidungen sauber absichern können.

Feuer mit Feuer bekämpfen

Der Befund ist dennoch kein Argument für eine technologische Kapitulation. Chang betont, dass KI nicht ausschließlich ein Vorteil für Angreifer ist. Unternehmen können dieselben Fähigkeiten defensiv einsetzen: für Tests, Codeanalyse, Schwachstellenmanagement, Angriffssimulationen und die schnellere Bewertung von Risiken.

Chang warnt jedoch, dass “eine blinde Erhöhung der Patch-Frequenz ohne Tests, Priorisierung und Geschäftsbezug operative Instabilität erzeugen und neue Risiken schaffen” kann und verweist auf die Notwendigkeit disziplinierter Risikomanagement-Frameworks. Cybersicherheitsverantwortliche sollten folgende Maßnahmen priorisieren, um KI-gestützte Risiken beherrschbar zu machen und die eigene Abwehr zu stärken:

• Dialog suchen: Direkt mit Software- und Technologieanbietern in Kontakt treten, um zu erfahren, wie diese KI einsetzen, um Sicherheitstests und das Schwachstellenmanagement zu verbessern.
• Transparenz erhöhen: Die Sichtbarkeit über Anwendungen, APIs, Identitäten und Laufzeitumgebungen hinweg signifikant verbessern.
• Verantwortlichkeit regeln: In strenge Governance- und Rechenschaftsrahmen investieren – und zwar explizit sowohl für menschliche als auch für nicht-menschliche Identitäten (KI-Agenten).
• Abwehr automatisieren: Die Automatisierungsfähigkeiten innerhalb der defensiven Sicherheitsabläufe drastisch verbessern.
• Aufsicht gewährleisten: Eine strenge menschliche Aufsicht („Human-in-the-Loop“) sowie strikte risikobasierte Entscheidungsprozesse aufrechterhalten (“Human in the Lead”).

Anpassung an die KI-Ära

Vor allem müssen Unternehmen erkennen, dass die Cybersicherheit in eine neue operative Ära eintritt. Die übergeordnete Erkenntnis aus den Vorfällen um Rogue KI ist, dass die Technologie Geschwindigkeit, Umfang, Wirtschaftlichkeit, Governance und Vertrauensmodelle neu gewichtet, die der modernen Cybersicherheit zugrunde liegen.

Die Organisationen, die am stärksten aus diesem Wandel hervorgehen, werden laut Chang wahrscheinlich diejenigen sein, die sich strategisch anpassen, KI verantwortungsbewusst integrieren, ihre Governance in Bezug auf Identität und Vertrauen stärken und Sicherheitsabläufe über Modelle hinaus weiterentwickeln.

“In einer Welt, in der sowohl Angreifer als auch Sicherheitsbeauftragte zunehmend mit maschineller Geschwindigkeit agieren, könnte die Fähigkeit, schnell vertrauenswürdige Entscheidungen zu treffen, zu einer der wichtigsten Sicherheitskompetenzen überhaupt werden”, ist Chang überzeugt.