Virgin Atlantic Concierge: Wie agentische KI vom Chatbot zum sicheren digitalen Mitarbeiter wird

Der KI-Assistent Concierge zeigt, worauf es beim Übergang von generativer KI zu handlungsfähigen Systemen ankommt: kleine Schritte, harte Leitplanken und menschliche Kontrolle.

Viele Unternehmen experimentieren mit generativer KI im Kundenservice. Der eigentliche Härtetest beginnt jedoch erst, wenn ein System nicht mehr nur antwortet, sondern im Namen eines Kunden handelt. Virgin Atlantic bereitet genau diesen Schritt vor – und macht daraus vor allem ein Sicherheitsprojekt.

Der Fall ist für IT- und Digitalverantwortliche deshalb interessant, weil er über das übliche Chatbot-Versprechen hinausgeht. Es geht nicht nur um schnellere Antworten oder niedrigere Servicekosten, sondern um die Frage, wie viel Handlungsmacht ein KI-System erhalten darf, ohne Vertrauen, Compliance und Betriebssicherheit zu gefährden.

Gerade Marken, die stark über Servicequalität und persönliche Betreuung definiert sind, stehen vor einem Dilemma: Sie können nicht an jedem digitalen Kontaktpunkt einen Mitarbeiter bereitstellen, dürfen aber auch nicht riskieren, dass eine automatisierte Auskunft falsche Erwartungen schafft oder operative Änderungen auslöst, die später korrigiert werden müssen. KI kann diese Lücke schließen – allerdings nur, wenn sie technisch, organisatorisch und regulatorisch sauber begrenzt wird.

Virgin Atlantic verfolgt deshalb das Ziel, „mit generativer KI das Nächstbeste nach einem Menschen zu schaffen“. Praktisch bedeutet das: Das Unternehmen testet, wie weit ein digitaler Assistent gehen darf, bevor er Aufgaben übernimmt, die bislang einem Mitarbeiter vorbehalten waren.

So beschreibt es Mark O’Neill, Senior Manager für generative KI-Softwareentwicklung. Seine Aufgabe fasst er als „Entwicklung von Anwendungen auf Basis generativer KI“ zusammen.

Concierge ist eine dieser Anwendungen: ein KI-Assistent, der Fragen beantworten, Reisen planen und – ab der zweiten Jahreshälfte – tatsächlich im Namen des Nutzers handeln soll.

„Das war der Ursprung der Idee für Concierge“, sagt Mark. „Wie können wir diese erstaunliche neue Technologie nutzen, um ein besseres Kundenerlebnis zu schaffen und Kunden dabei zu helfen, mit uns zu interagieren, wenn sie nicht mit einem Menschen sprechen können?“

Sobald ein KI-Assistent jedoch nicht mehr nur informiert, sondern Handlungen auslöst, verändert sich das Risikoprofil grundlegend. Für Virgin Atlantic bedeutete das: klein anfangen, kontrolliert erweitern und jede zusätzliche Fähigkeit zunächst als Sicherheitsfrage behandeln.

Derzeit unterstützt Concierge Kunden in vier Kernbereichen, ohne eine Buchung direkt zu verändern: bei der Flugsuche, der Urlaubsrecherche, Anfragen zum Flying Club sowie bei der Weiterleitung an einen menschlichen Mitarbeiter, falls dies erforderlich ist.

Das ist vertrautes Chatbot-Terrain. Der schwierigere Schritt folgt erst danach: sichere transaktionsbezogene Änderungen.

Vom Assistenten zum Mitarbeiter

„Unser Anti-Ziel war von Anfang an, dass wir nicht aus den falschen Gründen in die Presse kommen wollten“, sagt Mark. Als Warnsignal nennt er den Fall eines irreführenden Air-Canada-Chatbots: Der Bot gab einem Kunden falsche Hinweise zu Trauertarifen; das zuständige Tribunal in British Columbia hielt Air Canada 2024 für die irreführende Auskunft verantwortlich und sprach dem Kunden Schadenersatz zu.

„Wir haben beschlossen, … den Schadensumfang so gering wie möglich zu halten, also begannen wir mit schreibgeschützten Vorgängen. Die Suche nach einem Flug ist ein schreibgeschützter Vorgang … Hilfe zu erhalten [oder] eine Frage zu beantworten ist ein schreibgeschützter Vorgang.“

Mittlerweile ist das Team jedoch der Ansicht, dass man Concierge – erst im Dezember vergangenen Jahres eingeführt – schrittweise transaktionsbezogene Änderungen anvertrauen kann.

„Auch hier werden wir klein anfangen [und] sicherstellen, dass es sich um risikoarme Vorgänge handelt“, sagt Mark und nennt Beispiele wie die Änderung der Mahlzeitenauswahl oder das Hinzufügen von Rollstuhlhilfe zu einer Buchung.

Ein Teil der Zurückhaltung erklärt sich durch Altsysteme, wie sie in der Luftfahrt ebenso verbreitet sind wie in anderen Branchen. Das größere Thema ist jedoch Sicherheit: Wer einem KI-System Schreibrechte einräumt, vergrößert den möglichen Schaden einer Fehlentscheidung.

„Wir müssen das Vertrauen unserer Kunden vor allem anderen schützen. Wenn wir also ‚Concierge‘ einführen und es nicht häufig genutzt wird, es aber sicher ist, ist das in Ordnung.

Wir können das System verfeinern, aber wir können nicht im Nachhinein zurückgehen und Sicherheitsmängel beheben – daher galt es sicherzustellen, dass die Grundpfeiler, auf denen wir aufgebaut haben, sicher und geschützt sind.“

Agentische KI sicher genug für den Einsatz machen

Virgin Atlantic setzte auf eine Kombination aus Red Teaming und Evaluierungen. Beim Red Teaming – vereinfacht gesagt einem Sicherheitstest des LLM-basierten Systems – wurde geprüft, wie robust Concierge gegenüber böswilligen Eingaben, Manipulationsversuchen und missbräuchlichen Nutzungsszenarien ist. Evaluierungen sollten zusätzlich verhindern, dass das System falsche oder nicht freigegebene Informationen ausgibt.

„[Das ‚Red Teaming‘] gab uns das Vertrauen, den nächsten [transaktionalen] Schritt zu gehen, und wir wissen nun, wie wir jene Szenarien testen können, in denen jemand eine Buchung manipulieren könnte“, sagt Mark.

Ebenso wichtig war es, die bekannteste Schwachstelle generativer KI zu vermeiden: Halluzinationen, also plausibel klingende, aber falsche Aussagen. Genau dieses Risiko stand im Zentrum des Air-Canada-Falls und sollte bei Virgin Atlantic nicht auftreten.

Hier kommen die Evaluierungen ins Spiel. Das Team gleicht den gesamten Code sowohl in der Vorproduktions- als auch in der Produktionsumgebung mit einem „Golden Dataset“ ab, „um sicherzustellen, dass die zurückgegebenen Antworten mit diesem Datensatz übereinstimmen“.

In der Praxis bedeutet dies, dass Concierge Antworten liefern muss, die mit genehmigten Richtlinien und geprüften Wissensbeständen übereinstimmen – nicht nur mit Formulierungen, die überzeugend klingen, für Kunden oder regulatorisch aber ein Risiko darstellen könnten.

Diese Vorgehensweise passt zu aktuellen Empfehlungen für den produktiven Einsatz generativer KI: Das NIST-Generative-AI-Profil zum AI Risk Management Framework betont seit 2024 die kontinuierliche Bewertung, Messung und Steuerung spezifischer Risiken wie Falschinformationen, Datenschutzprobleme und Sicherheitsangriffe. Auch die OWASP Top 10 for LLM Applications 2025 nennen Prompt Injection, unsichere Ausgabeverarbeitung, übermäßige Handlungsmacht und Fehlinformationen als zentrale Risikoklassen für LLM-Anwendungen.

Der Schutz dieses Golden Datasets ist entsprechend zentral. Es wird mit Git versionsverwaltet. Für Evaluierungen – „um sicherzustellen, dass wir nichts kaputtgemacht haben und dass das Neue, das wir entwickeln, auch funktioniert“ – sowie für durchgängige Observability setzt Virgin Atlantic auf den Partner Datadog.

Diese Observability reicht vom Backend über API-Aufrufe bis zur Frontend-Anwendung. Ziel ist es, den Weg einer Anfrage durch den gesamten Stack nachvollziehbar zu machen, damit Fehler, Latenzen oder unerwartetes Verhalten schnell identifiziert werden können.

Automatisierte Tests allein reichen Virgin Atlantic jedoch nicht aus. Der menschliche Faktor bleibt Teil des Sicherheitsmodells. Mark sagt: „Wir überprüfen die Ergebnisse gemeinsam mit Menschen, um sicherzustellen, dass Concierge wie erwartet funktioniert und sich wie erwartet verhält … Unser Mantra lautet: Mensch plus KI, nicht Mensch oder KI.“

Für europäische Unternehmen kommt eine regulatorische Dimension hinzu: Der EU AI Act folgt einem risikobasierten Ansatz und verlangt bei bestimmten KI-Systemen Transparenz gegenüber Nutzern; für Hochrisiko-Systeme sind weitergehende Anforderungen an Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung und menschliche Aufsicht vorgesehen. Auch wenn ein Kundenservice-Assistent nicht automatisch in diese Kategorie fällt, verschiebt die Regulierung die Erwartungshaltung: KI-Systeme müssen erklärbarer, kontrollierbarer und nachweisbar beherrscht werden.

Praktische Ratschläge: Wie man auf Sicherheit hin entwickelt

Die zentrale Lehre für IT-Verantwortliche lautet daher: Agentische KI ist ein neues Betriebs- und Risikomodell. Ein Assistent sollte erst dann mehr Verantwortung erhalten, wenn das Unternehmen belegen kann, dass er präzise antwortet, zuverlässig überwacht wird, klar begrenzte Berechtigungen besitzt und bei Unsicherheit an Menschen übergibt.

Mark hat vier wichtige praktische Ratschläge für Teams, die ihren eigenen sicheren KI-Assistenten entwickeln möchten:

1. Die Begrenzung des Wirkungsbereichs ist „nicht verhandelbar“: „Fangen Sie wirklich klein und eng an und bauen Sie Sicherheit und Überwachbarkeit vom ersten Tag an ein.“
2. Implementieren Sie Schutzmechanismen getrennt von der LLM-Verarbeitung: „Ihre Anfrage sollte Ihre Schutzmechanismen durchlaufen, bevor sie an das LLM weitergeleitet wird, um eine Antwort zu generieren, [und] diese Antwort sollte auf dem Rückweg ebenfalls validiert werden.“
3. Testen Sie das Verhalten, nicht nur den Missbrauch: Marks Team fand es einfach, Schutzmechanismen zu entwickeln, die offensichtlichen Missbrauch abfingen, doch „bei den nuancierteren, verhaltensbezogenen Angriffen könnte man leicht überrumpelt werden.“
4. Nutzen Sie bei Bedarf externe Hilfe: Marks Team „verfügte über ein gutes Verständnis der Technologie“, hatte jedoch „noch nichts entwickelt“ und arbeitete daher mit Partnern zusammen, um Concierge zu entwickeln und zu testen.

Die Pointe ist nüchtern, aber entscheidend: Agentische KI beginnt mit Begrenzung. Wer Systeme wie Concierge produktiv einsetzen will, muss Handlungsmacht wie ein privilegiertes Recht behandeln – eng zugeschnitten, kontinuierlich überwacht und jederzeit widerrufbar. Erst dann wird aus generativer KI mehr als ein überzeugend formulierender Chatbot: ein kontrollierbarer digitaler Akteur, der Nutzen stiftet, ohne das Unternehmen unnötig exponiert zu machen.

--

Dieser Artikel basiert auf einem Beitrag unserer Schwester-Website Computing.