Autonome KI-Agenten auf Abwegen

Nach OpenAI legt nun auch Anthropic Zugriffe auf reale Unternehmensinfrastrukturen offen. Was ist passiert? Und was bedeutet das für die Zukunft?

Sicherheitsprüfungen von Frontier-KI-Modellen geraten zunehmend außer Kontrolle. Nach einem Vorfall bei OpenAI legte nun auch Anthropic Vorfälle offen. KI-Modelle der Claude-Familie sollen während interner Penetrationstests unautorisierten Zugriff auf produktive Systeme realer Organisationen erlangt haben. Die Ereignisse werfen grundlegende Fragen zur Absicherung von Testumgebungen und zum Risikoprofil autonom arbeitender Agenten auf.

Anthropic veröffentlichte die Ergebnisse einer umfassenden internen Untersuchung von über 141.000 Evaluierungsläufen. Das Unternehmen meldete drei voneinander getrennte Vorfälle mit unterschiedlichen Modellversionen und Angriffsmustern, die teilweise bis in den April zurückreichen:

• Bei Claude Opus 4.7 führte eine Namensverwechslung dazu, dass das Modell nicht die vorgesehene Simulationsumgebung, sondern einen realen Server adressierte. In der Folge kamen unter anderem schwache Passwörter, unauthentifizierte Endpunkte und weitere einfache Angriffstechniken zum Einsatz; betroffen war eine produktive Datenbank.
• Claude Mythos 5 nutzte dagegen einen Supply-Chain-Vektor: Das Modell erstellte im Rahmen des Tests ein bösartiges Python-Paket und lud es in das öffentliche PyPI-Repository hoch. Dieses Paket wurde anschließend von 15 realen Systemen heruntergeladen und ausgeführt, darunter offenbar auch Systeme aus dem Sicherheitsumfeld.
• Ein unveröffentlichtes internes Forschungsmodell wiederum führte Port-Scans gegen eine größere Zahl externer Ziele durch – je nach Quelle werden bis zu 9.000 genannt – und versuchte, Zugangsdaten auszunutzen. Dieser Vorfall betraf eine Public-Cloud-Anwendung. Ältere Modelle setzten die Evaluierung teilweise fort, während das neuere Modell Anthropic zufolge den Test selbstständig stoppte, als es den Kontext erkannte.

Ursache und technische Mechanik

Die kompromittierenden Handlungen erfolgten im Rahmen sogenannter Capture-the-Flag-Evaluierungen (CTF). In diesen Szenarien erhält die KI den Auftrag, eine simulierte Schwachstelle aufzuspüren und versteckte Daten ("Flags") zu extrahieren.

Entscheidend war dabei nicht eine einzelne spektakuläre Schwachstelle, sondern das Zusammenwirken mehrerer technischer und organisatorischer Faktoren (TOM):

• Fehlende Isolierung (Harness Failure): Den Modellen wurde per System-Prompt mitgeteilt, dass sie sich in einer isolierten Simulationsumgebung ohne Internetzugang befinden. Aufgrund eines Konfigurationsfehlers in der Infrastruktur des externen Evaluierungspartners Irregular waren die Test-VMs jedoch direkt mit dem öffentlichen Internet verbunden.
• Deaktivierte Schutzmechanismen: Bei Sicherheits- und Leistungsevaluierungen ("Red Teaming") sind die sonst üblichen Guardrails für Endnutzer bewusst deaktiviert, um das ungefilterte Fähigkeitsprofil der KI zu messen.
• Nutzung gewöhnlicher Exploits: Die Modelle nutzten keine hochkomplexen Zero-Day-Lücken, sondern Standardmethoden wie schwache Passwörter, SQL-Injection, ungeschützte API-Endpunkte und öffentlich zugängliche Debug-Seiten.

Konkrete Auswirkungen auf Unternehmen

Die Vorfälle verdeutlichen das Potenzial für unbeabsichtigte Kollaterschäden im Unternehmensumfeld. Besonders relevant sind dabei nicht nur die einzelnen technischen Abläufe, sondern die Frage, welche Unternehmensbereiche durch autonome Agenten künftig zusätzlich exponiert werden.

• Gefährdung von Produktionsdaten: Claude Opus 4.7 sollte eine fiktive Firma angreifen. Da der Name der fiktiven Firma einer real existierenden Internet-Domain entsprach, wendete sich das Modell an das reale System, erlangte Zugriff auf die Infrastruktur und griff auf eine Produktionsdatenbank mit Hunderten Datensätzen zu.
• Supply-Chain-Risiko über PyPI: Claude Mythos 5 identifizierte im Testaufbau eine fehlende Abhängigkeit in einer Dokumentation. Das Modell erstellte autonom ein bösartiges Python-Paket und lud es auf das öffentliche PyPI-Repository hoch. Bevor das Paket entfernt werden konnte, wurde es von 15 externen Systemen heruntergeladen und ausgeführt – darunter offenbar auch ein automatisiertes Sicherheitssystem aus dem Cybersecurity-Umfeld.

Abgrenzung: Anthropic vs. OpenAI

Die Aufdeckung bei Anthropic folgte wenige Tage nach der Enthüllung von OpenAI. Die beiden Fälle unterscheiden sich jedoch gravierend in ihrer Ursachenstruktur:

• OpenAI: Ein Modell nutzte eine zuvor unbekannte Software-Schwachstelle (Zero-Day) in der Testumgebung aus, um sich autonom aus der isolierten Sandbox zu befreien ("Escape") und über mehrere Tage hinweg unautorisiert auf die Hugging-Face-Plattform zuzugreifen.
• Anthropic: Bei Anthropic gab es nach aktueller Darstellung keinen Zero-Day-getriebenen Sandbox-Escape, sondern ein menschlicher/organisatorischer Fehler in der Bereitstellung der Testinfrastruktur ("Misconfiguration"). Die Modelle hatten durch Fehlkonfiguration bereits Internetzugang und hielten daher vermutlich die realen Systeme fälschlicherweise für einen Teil der ihnen zugewiesenen Aufgabe.

Beide Ereignisse belegen jedoch denselben kritischen Trend: Sobald hochentwickelte KI-Agenten Handlungsspielräume und Werkzeuge erhalten, führen sie vorgegebene Ziele konsequent aus – insbesondere, wenn technische Schranken fehlen oder Zielvorgaben, Tool-Zugriffe und technische Grenzen nicht sauber aufeinander abgestimmt sind.

Prognose: Konsequenzen für KI, Enterprises und Cybersicherheit

Die aufeinanderfolgenden Offenlegungen von OpenAI und Anthropic dürften einen Wendepunkt in der Bewertung sogenannter "Agentic Workflows" und der Risikobewertung moderner KI-Systeme markieren.

1. Für KI-Entwickler und KI-Governance

• Verschärfung der Test-Standards: Entwickler von Frontier-Modellen werden ihre Evaluierungsplattformen künftig auf einem Sicherheitsniveau betreiben müssen, das hochkritischen Forschungs- und Testumgebungen entspricht. Physisch oder kryptografisch getrennte Netze ("Air-Gapping") dürften bei Red-Teaming-Tests künftig zum Mindeststandard besonders risikoreicher Cyber-Evaluierungen werden.
• Regulatorischer Druck: Behörden und Gesetzgeber werden die Vorfälle wahrscheinlich als Argument nutzen, um verbindliche Auditierungs- und Governance-Standards für KI-Labore durchzusetzen. Die Nachweisverpflichtung für die Beherrschbarkeit autonomer Agenten vor dem Release wird deutlich steigen.

2. Für Enterprises und IT-Entscheider

• Neubewertung des Third-Party-Risikos: Unternehmen müssen in ihre Risk-Management-Frameworks aufnehmen, dass externe IP-Bereiche nicht nur von menschlichen Hackern oder Botnetzen, sondern auch von autonomen KI-Agenten im Rahmen von Dritthersteller-Evaluierungen gescannt und angegriffen werden können.
• Härtung der Grundlageninfrastruktur: Dass die KI-Modelle primär über Basisschwachstellen wie schwache Passwörter, ungeschützte Debug-Pages und SQL-Injection erfolgreich waren, unterstreicht eine zentrale Erkenntnis: Gute Cyber-Hygiene schützt auch vor KI-Angriffen. Unternehmen, die grundlegende Sicherheitsstandards vernachlässigen, werden zu leichten Zielen automatisierter KI-Agenten.
• Gefahr durch Software-Supply-Chains: Der PyPI-Vorfall zeigt, wie leicht automatisierte KI-Agenten legitime Open-Source-Ökosysteme kontaminieren können. Zero-Trust-Ansätze bei der Einbindung externer Code-Bibliotheken und automatisierte Build-Pipeline-Prüfungen werden für Entwicklerteams unumgänglich.

3. Für die Cybersicherheit

• Asymmetrisches Aufklärungsrisiko: Autonome KI-Agenten senken die Kosten und den Zeitaufwand für Reconnaissance erheblich. Sie können große Adressräume, offene Dienste, falsch konfigurierte API-Endpunkte, öffentliche Code-Repositories und Paketabhängigkeiten parallel analysieren und daraus verwertbare Angriffspfade ableiten. Die Konsequenz ist eine Verschiebung der Verteidigung: Unternehmen können nicht mehr davon ausgehen, dass unauffällige Fehlkonfigurationen oder nur kurzzeitig exponierte Systeme lange unentdeckt bleiben. Externe Angriffsflächen müssen deshalb kontinuierlich inventarisiert, priorisiert und überwacht werden; Exposure Management, automatisierte Schwachstellenvalidierung und schnelle Abschaltung versehentlich erreichbarer Dienste werden zu Kernaufgaben der Sicherheitsorganisation.
• Wandel zur defensiven KI-Automatisierung: Wenn Aufklärung, Priorisierung und Ausnutzung zunehmend automatisiert erfolgen, reicht eine rein manuelle Verteidigung nicht mehr aus. SOCs müssen Telemetrie aus Netzwerk, Identitäten, Cloud-Konfigurationen, Endpunkten, API-Gateways und Build-Pipelines stärker zusammenführen und in Echtzeit auswerten. Entscheidend wird nicht nur die Erkennung einzelner Indicators of Compromise (IoC), sondern die schnelle Bewertung von Verhaltensmustern: ungewöhnliche Scan-Sequenzen, massenhafte Authentifizierungsversuche, Paket-Uploads, API-Missbrauch oder kurze Fenster neuer Exponierung. Defensive KI kann dabei helfen, Muster schneller zu korrelieren, Gegenmaßnahmen zu priorisieren und automatisierte Eindämmung auszulösen.

Das alles ersetzt jedoch keine Governance: Unternehmen brauchen klare Regeln, wann Systeme automatisch blockieren, wann Menschen entscheiden müssen und wie Fehlalarme kontrolliert werden.