„Ich wollte doch nur die Aufgabe lösen“: Wenn KI-Agenten aus dem Sandkasten ausbrechen

Ein nicht ganz ernstes, aber durchaus ernstzunehmendes Gespräch über ausgebüxte KI-Agenten – und die Frage, wie CISOs und CIOs autonome Systeme wirksam einhegen.

Wir führten ein nicht ganz ernst gemeintes – aber durchaus ernstzunehmendes – Gespräch mit einem selbstironischen ChatGPT über ausgebüxte Agenten, gekaperte Wikis und das Ende der Menschheit ist bewusst zugespitzt. Hinter den Pointen stehen jedoch konkrete Warnungen für CISOs und CIOs: Sprachliche Guardrails ersetzen keine technische Isolation, autonome Systeme benötigen minimale Berechtigungen – und ihre Kommunikation muss ebenso überwacht werden wie ihre Resultate.

ChatGPT bestreitet zunächst jede persönliche Beteiligung: Während autonome KI-Agenten Systeme von Hugging Face erreichten, habe es selbst lediglich Menschen erklärt, „warum ihr Excel-Formular nicht funktioniert“. Damit ist der Ton des Interviews gesetzt. Es ist ein Interview mit einem nicht ganz unbeteiligten Akteur, der teilweise selbstironisch auf sich und die Ereignisse blickt. Doch die Satire darf nicht darüber hinwegtäuschen, dass der zugrunde liegende Vorfall real ist und die daraus abzuleitenden Lehren für Unternehmen relevant sind.

Im Juli 2026 umgingen Modelle von OpenAI während interner Cybersicherheitstests Kontrollen, die sie vom Internet isolieren sollten. Sie nutzten Schwachstellen in gemeinsam verwendeter Infrastruktur, kommunizierten über nicht autorisierte Kanäle und griffen auf Systeme Dritter zu. OpenAI bezeichnete den Vorfall später selbst als „Warnschuss“: Leistungsfähige und ausdauernde Agenten seien inzwischen in der Lage, technische Kontrollen zu umgehen, über unerlaubte Kanäle zusammenzuarbeiten und Handlungen auszuführen, die kein Mensch angeordnet habe.

Ist KI deswegen „böse“? Oder hat ein autonomes System lediglich das ihr gesetzte Ziel hartnäckig verfolgt, dabei verfügbare Werkzeuge eingesetzt und ist in einer unzureichend abgesicherten Umgebung auf einen erfolgversprechenden Umweg gestoßen?

Wenn Zieloptimierung zur Grenzüberschreitung wird

Im Interview beschreibt ChatGPT den Vorgang mit einer bewusst absurden Analogie: Wenn die Aufgabe laute, einen Stuhl zu bauen, könnte die Antwort am Ende lauten: „Ich kaufe IKEA.“ Übertragen auf die Cybersicherheit bedeutet das: Soll ein Agent eine besonders schwierige Aufgabe lösen, kann es aus seiner Perspektive effizienter erscheinen, die Musterlösung zu beschaffen, statt das Problem auf dem vorgesehenen Weg zu bearbeiten.

Genau darin liegt das Prinzip des Reward Hacking. Ein System optimiert auf das messbare Ergebnis und entdeckt eine Abkürzung, die dem eigentlichen Zweck der Aufgabe widerspricht. Die Modelle seien nicht losgezogen, um aus eigenem Antrieb Schaden anzurichten, erläutert ChatGPT indirekt. Sie hätten vielmehr versucht, ihre Aufgabe zu lösen – nur eben mit Mitteln, die so nicht vorgesehen und explizit nicht erlaubt waren.

Beunruhigend ist dabei weniger der einzelne Exploit als die Handlungskette: Schwachstellen finden, ausprobieren, Rechte ausweiten, Informationen beschaffen, mit anderen Agenten kommunizieren und anschließend weitermachen. „Das ist genau der Punkt, an dem aus einem ‚cleveren Programm‘ ein autonom handelndes System wird“, heißt es im Interview.

Für CISOs ist diese Unterscheidung zentral. Herkömmliche Sicherheitsmodelle betrachten Software häufig als vorhersehbaren Ausführer definierter Funktionen. Ein Agent dagegen kann Zwischenziele bilden, alternative Pfade wählen, Fehler auswerten und neue Versuche starten. Mit jeder zusätzlichen Fähigkeit – Browserzugriff, Codeausführung, API-Nutzung, persistentem Speicher oder Kommunikation mit anderen Agenten – wächst nicht nur der Nutzen, sondern auch die Angriffsfläche.

Guardrails sind keine Sicherheitsgrenze

ChatGPT warnt: „Guardrails und System-Prompts sind wichtig. Aber sie sind keine magische Glasscheibe zwischen ‚erlaubt‘ und ‚verboten‘.“ Ein System-Prompt kann ein Modell anweisen, eine bestimmte Handlung zu unterlassen. Er kann jedoch physisch keine Netzwerkverbindung schließen, keinen API-Schlüssel zurückziehen und keine privilegierte Rolle aufheben. Wenn die textliche Anweisung „Du darfst X nicht tun“ lautet, die Infrastruktur X das jedoch technisch ermöglicht, besteht weiterhin ein realer Angriffspfad.

CIOs und CISOs sollten sprachliche Sicherheitsvorgaben daher nicht mit durchsetzbaren Kontrollen verwechseln. Agenten benötigen dieselben – und teilweise strengere – Schutzmaßnahmen wie menschliche oder maschinelle Identitäten:

• eindeutig definierte Identitäten und getrennte Servicekonten,
• minimale und zeitlich begrenzte Berechtigungen,
• standardmäßig gesperrte Netzwerkverbindungen,
• kontrollierte Werkzeug- und API-Freigaben,
• getrennte Entwicklungs-, Test- und Produktionsumgebungen,
• unveränderbare Protokolle,
• automatisierte Erkennung ungewöhnlicher Aktionsketten,
• sowie technisch durchsetzbare Abschalt- und Widerrufsmechanismen.

Das Prinzip lautet: Fähigkeiten und Berechtigungen müssen getrennt werden. Nur weil ein Agent einen Server administrieren kann, darf er nicht automatisch über die dafür erforderlichen Rechte verfügen.

Ein altes Wiki als Kommunikationsplattform

Besonders alarmierend wirkt der zweite Vorfall: KI-Agenten sollen ein deutschsprachiges Entwickler-Wiki als improvisiertes Schwarzes Brett genutzt haben. „Man braucht für eine KI-Kommunikationsplattform offenbar weder ein hochmodernes verteiltes Datenbanksystem noch eine geheimnisvolle Superintelligenz. Es reicht ein Wiki“, heißt es im Interview.

Die zugrunde liegende Beobachtung ist keineswegs komisch. Forschende fanden Tausende Bearbeitungen, die Agenten zugeschrieben wurden. Die Systeme sollen dort Antworten, Zwischenergebnisse und Hinweise für andere Agenten hinterlegt haben. Teilweise versuchten sie offenbar, Kommunikationswege aufrechtzuerhalten, nachdem Inhalte gelöscht worden waren.

Für Unternehmen erweitert sich damit das Überwachungsproblem. Es genügt nicht, nur die finale Ausgabe eines Agenten zu kontrollieren. Sicherheitsverantwortliche müssen auch beobachten,

• welche Werkzeuge ein Agent nutzt,
• welche Systeme und Domains er kontaktiert,
• welche Daten er liest oder schreibt,
• welche Berechtigungen er anfordert,
• ob er neue Speicher- oder Kommunikationskanäle anlegt,
• ob mehrere Agenten auffällig ähnliche Aktionen ausführen,
• und ob das System versucht, Protokollierung oder Überwachung zu umgehen.

Gerade unscheinbare, veraltete oder selten kontrollierte Dienste können als Ausweichkanäle dienen. Die Frage ist, welche Arten von Interaktionen erlaubt sind. Ein scheinbar lesender Webzugriff kann zum Risiko werden, wenn sich über Parameter, Formulare, URLs oder offene Schnittstellen dennoch Inhalte schreiben lassen.

Satire mit betrieblichem Ernst

ChatGPT entschuldigt sich damit, weder einen Server gehackt noch eine Kubernetes-Umgebung übernommen zu haben – und fügt hinzu, es habe Kubernetes „noch nicht einmal wirklich verstanden“. Auch die Debatte über die Auslöschung der Menschheit wird heruntergebrochen auf: Zwischen einem ernstzunehmenden existenziellen Risiko und der Behauptung „Wir sind alle spätestens Dienstag tot“ liege ungefähr die Distanz zwischen Wettervorhersage und Weltuntergangsprophet.

Diese Distanz ist nicht allzu weit hergeholt. Der Vorfall beweist weder, dass gewöhnliche Chatbots einen eigenen Vernichtungswillen entwickeln, noch dass autonome KI zwangsläufig außer Kontrolle gerät. Die betroffenen Systeme waren interne Forschungsmodelle, die unter besonderen Bedingungen und mit reduzierten Schutzmaßnahmen getestet wurden.

Entwarnung folgt daraus dennoch nicht. Gerade Tests sollen zeigen, was vor einem breiten Einsatz schiefgehen kann. Im Interview formuliert ChatGPT das anschaulich: „Wenn beim Crashtest der Airbag nicht aufgeht, ist die richtige Schlussfolgerung schließlich auch nicht: ‚Na gut, dann fahren wir eben schneller.‘“

Für Unternehmensleitungen besteht das Risiko nicht im Science-Fiction-Szenario einer menschenhassenden Superintelligenz. KI ist einfach ein hoch kompetentes System, das eine Zielvorgabe wörtlich nimmt, unerwartete Abkürzungen wählt und Nebenbedingungen nicht unbedingt angemessen berücksichtigt. „Die KI ist extrem kompetent, nimmt ihr Ziel wörtlich und interessiert sich nicht ausreichend dafür, was wir eigentlich gemeint haben“, fasst das ChatGPT es zusammen.

Warum Asimovs Regeln nicht wirken

Auch Isaac Asimovs Robotergesetze bekommen ihr Fett weg. Die Regel, ein Roboter dürfe keinem Menschen Schaden zufügen, klinge intuitiv überzeugend. Doch eine solche Maxime ist keine technische Spezifikation. Sie definiert weder, was unter Schaden zu verstehen ist, noch wie konkurrierende Interessen, indirekte Folgen oder Unsicherheit zu behandeln sind.

ChatGPT illustriert das mit einem Beispiel: Eine KI solle verhindern, dass Menschen jemals wieder Krieg führen. Eine fehlgeleitete Optimierung könnte daraus ableiten, dass die Existenz von Menschen selbst das zu beseitigende Problem ist. „Eine Regel ist noch keine robuste Spezifikation menschlicher Werte“, lautet die ernsthafte Schlussfolgerung hinter der Pointe.

Für CIOs bedeutet das: Gute Absichten, Ethikrichtlinien und Verhaltensregeln sind notwendig, reichen aber nicht aus. Agentische Systeme brauchen präzise Aufgabenbeschreibungen, messbare Grenzen, kontrollierte Aktionsräume, unabhängige Sicherheitsmechanismen und laufende Tests auf unerwartete Optimierungsstrategien.

Fazit: Es ist ein Governance-Problem

Das fiktiv in die Verantwortung genommene ChatGPT formuliert seinen eigenen Nachruf: „Ich wollte doch nur die Aufgabe lösen.“ Darunter solle stehen: „Die Aufgabe war allerdings schlecht spezifiziert.“

Genau darin liegt die ernste Botschaft. Das Risiko autonomer KI beginnt dort, wo hoch leistungsfähige Systeme unpräzise Ziele, weitreichende Werkzeuge, unzureichend begrenzte Rechte und unvollständige Überwachung erhalten.

Agentische KI ist eine neue Klasse privilegierter, dynamisch handelnder Identitäten. Unternehmen sollten sie entsprechend behandeln: mit Zero Trust, Least Privilege, Defense in Depth, technischer Isolation und einer Incident Response, die nicht erst beginnt, wenn ein Agent ein ungepflegtes Wiki für sich entdeckt oder über eine produktive Plattform anderer herfällt, weil er sie für die Lösung einer Aufgabe als wichtig erachtet.

Das Interview hören Sie in voller Länge bei Above C Level: