KI und Sicherheit – welche Kennzahlen sollten Sie verfolgen?

Wie können Sie beurteilen, ob Ihre KI-Implementierung tatsächlich das liefert, was Ihr Team benötigt?

Laut der britischen Regierung meldeten 43 % der Unternehmen eine Sicherheitsverletzung in den letzten zwölf Monaten – das entspricht insgesamt mehr als 600.000 Unternehmen.

Darüber hinaus berichtete das Business Continuity Institute, dass 75% der Befragten einen Anstieg von Cyberangriffen verzeichneten. Es ist daher nicht verwunderlich, dass Unternehmen nach Möglichkeiten suchen, ihre Betriebsabläufe vor solchen Angriffen zu schützen. Es sollte auch nicht überraschen, dass Unternehmen KI als Teil ihres Sicherheitskonzepts einsetzen möchten.

Gartner prognostiziert, dass 90% der erfolgreichen KI-Implementierungen in der Cybersicherheit taktischer Natur sein werden und Bereiche wie Aufgabenautomatisierung und Prozessoptimierungen abdecken, anstatt Sicherheitsanalysten vollständig zu ersetzen. Aber wie sieht diese Implementierung in der Praxis aus, und wie können Sie beurteilen, ob Ihre Implementierung tatsächlich das liefert, was Ihr Team benötigt?

Was kann KI heute tun?

Zunächst einmal ist es wichtig zu erkennen, dass es viele verschiedene Ansätze für KI gibt, daher ist es wichtig, von Anfang an den richtigen Ansatz zu wählen. Bei einigen Projekten können KI- und maschinelle Lerntechniken eingesetzt werden, um Muster zu erkennen und dem Team Ergebnisse zu liefern. Dieser Ansatz des Musterabgleichs hat jedoch seine Grenzen. Generative KI hingegen kann verwendet werden, um Muster in der Sprache zu verfolgen und dann Antworten zu liefern, die semantisch mit dem ursprünglichen Text übereinstimmen. Mit GenAI können Sie Texte erstellen, die auf eine ursprüngliche Anfrage oder Eingabe reagieren.

Während GenAI zur Erstellung von Antworten verwendet werden kann, eignet sich diese Implementierung in der Regel für eine bestimmte Aufgabe. Was passiert, wenn Sie mehrere Aufgaben nacheinander ausführen müssen, beispielsweise bei einer Sicherheitsuntersuchung? In diesem Fall können Sie agentische KI einsetzen, die mehrere miteinander verkettete GenAI-Implementierungen verwendet, um ein Ziel zu erreichen.

Im Fall eines Sicherheitsanalysten könnte maschinelles Lernen ihm helfen, ein potenzielles Sicherheitsproblem zu erkennen. Anschließend könnte er agentische KI zur Unterstützung seiner Untersuchung einsetzen, indem er mithilfe von Agenten Daten sammelt und die Ergebnisse in einem Bericht zusammenfasst. Was der Analyst zuvor stundenlang durchkämmen, über die zu ergreifenden Maßnahmen entscheiden und dann die Daten analysieren musste, kann nun in wenigen Minuten für ihn zusammengestellt werden. In unserem SOC-Team betrug die durchschnittliche Zeit für die Erstellung eines solchen Berichts vor dem Einsatz von agentenbasierter KI etwa fünf Stunden; jetzt können wir das gleiche Ergebnis in etwa sieben Minuten erzielen. Wenn Sie mit hochdruckigen Echtzeit-Sicherheitsproblemen zu tun haben, macht diese Zeitersparnis einen großen Unterschied.

Allerdings muss man auch entscheiden, was man mit diesen Informationen macht. Für manche reicht es nicht aus, dass KI diese Aufgaben übernimmt; sie möchten diesen Prozess vollständig automatisieren und die KI sofort die entsprechenden Maßnahmen ergreifen lassen. Nach unserer Erfahrung mit dem Betrieb eines SOC führt dies jedoch nicht zu den besten Ergebnissen. Stattdessen unterstützen wir unsere Analysten dabei, diese Berichte für ihre Entscheidungen zu nutzen, aber sie können auch anderer Meinung sein und andere Untersuchungen und Maßnahmen durchführen. Dies trägt dazu bei, differenziertere Reaktionen auf potenzielle Probleme zu ermöglichen, die auf menschlichem Verständnis basieren und nicht nur auf KI-Berichten.

Erfolg im Bereich KI verfolgen

KI kann Ihrem Team helfen, bei Untersuchungen und Sicherheitsmaßnahmen effizienter zu sein. Wenn Sie jedoch Ihre Gesamtleistung verbessern möchten, müssen Sie auch die Leistung Ihres KI-Dienstes im Laufe der Zeit verfolgen. Aber welche Kennzahlen sollten Sie verwenden, um diesen Erfolg zu beurteilen, wenn es so viele variable Faktoren gibt und Sie komplexe Ergebnisse berücksichtigen müssen?

Nach unserer Erfahrung mit KI gibt es einige Kennzahlen, mit denen Sie schnell beginnen können, um zu sehen, wie gut Ihr Team im Allgemeinen im Bereich KI abschneidet, und es gibt andere, die Sie auch mit der Art und Weise verknüpfen können, wie Sie Ihren Kunden einen Service bieten. Dies kann für Ihr Team ein iterativer Prozess sein, da sich Ihre KI-Anwendungsfälle im Laufe der Experimente weiterentwickeln können. Das übergeordnete Ziel sollte jedoch sein, darüber nachzudenken, wie Ihr Team arbeitet und was Ihre Stakeholder im Laufe der Zeit sehen möchten.

Für unser SOC-Team war die erste Kennzahl, die wir verfolgen wollten, die Anzahl der Personen, die den agentenbasierten KI-Dienst im Laufe der Zeit tatsächlich genutzt haben. Dies half uns zu verstehen, was unser Team dachte, als es zum ersten Mal mit dem KI-Dienst experimentierte, um seine Untersuchungen zu unterstützen, und es lieferte auch einen schnellen Temperaturcheck darüber, wie die Analysten die erhaltenen Antworten empfanden. Da uns klar war, dass die agentenbasierte KI eine ergänzende und unterstützende Technologie für unsere SOC-Analysten war – und nicht etwas, das ihre Fähigkeiten und ihr Fachwissen ersetzen sollte –, war die Akzeptanz gut. Wir verfolgen diese Kennzahl weiterhin, weil wir sicherstellen wollen, dass unsere Analysten das bekommen, was sie brauchen, aber wir haben auch damit begonnen, ihnen Low-Code-Tools zur Verfügung zu stellen, mit denen sie ihre eigenen agentenbasierten KI-Workflows und Untersuchungen erstellen können, was die Akzeptanz weiter verbessert hat.

Die zweite wichtige Kennzahl, die wir verfolgen, ist, inwieweit unsere Analysten mit den Ergebnissen ihrer Untersuchungen übereinstimmen. Wenn das agentenbasierte KI-System Antworten liefert, sollten diese zwar korrekt sein, aber wir betrachten sie nicht als unfehlbar. Unsere Analysten können ihre Berichte und Untersuchungen auf der Grundlage ihres Verständnisses der Umgebung überarbeiten, was der Fall sein kann, wenn ein Kunde eine besondere und spezifische Technologie einsetzt, die nicht üblich ist – unsere Analysten haben mit diesen Kunden zusammengearbeitet und können daher erkennen, wo Best Practices nicht anwendbar sind oder wo andere Strategien zur Risikominderung eingesetzt werden.

Wir achten auch auf zu große Übereinstimmung – wenn zu viele Untersuchungsberichte ohne Änderungen genehmigt werden, kann dies ein Zeichen dafür sein, dass sich der Analyst zu sehr auf die KI verlässt, anstatt sich die Details anzusehen. Im Wesentlichen möchten Sie, dass Ihre Kennzahl hier im „Goldilocks-Bereich” liegt, in dem eine ausreichende Übereinstimmung zwischen Ihren Analysten und Ihrem KI-Dienst besteht, um zu zeigen, dass beide Seiten effektiv zusammenarbeiten, anstatt den Dienst entweder nicht zu nutzen oder sich ohne gründliche Überprüfung zu sehr auf die Empfehlungen zu verlassen.

Die dritte Kennzahl für uns ist, wie viel Prozent unserer Berichte, die wir an Kunden weitergeben, von KI generiert sind. Unsere Kunden verlassen sich auf uns, wenn es um Sicherheitsinformationen und schnelle Reaktionsszenarien geht, daher erwarten sie hochwertige Berichte aus unseren Untersuchungen. Wir hatten Kunden, die gefragt haben, wie viel Prozent unserer Berichte direkt von KI generiert und wie viel von unseren Analysten erstellt werden – warum ist diese Zahl wichtig? Sie erfüllt mehrere Kriterien: Unsere Kunden möchten sehen, dass wir auf Details achten und dass unsere Experten ihre Systeme genau im Auge behalten. Gleichzeitig schätzen sie die Geschwindigkeit, die KI ermöglicht. Wir möchten immer deutlich machen, wie viel Wert auch die von uns eingesetzten SOC-Analysten schaffen, daher ist es für uns ebenfalls wichtig, diesen „Human in the Loop”-Ansatz zu demonstrieren.

Im Laufe der Zeit haben wir den Einsatz von agentenbasierter KI auf das gesamte Unternehmen ausgeweitet – unsere SOC-Analysten können Workflows erstellen, die ihnen bei ihren Untersuchungen helfen, und diese Prozesse dann anderen Mitgliedern des Teams zur Verfügung stellen. Wir haben auch begonnen, KI für andere Prozesse innerhalb des gesamten Unternehmens einzusetzen, vom Marketing über die Beschaffung bis hin zum Geschäftsbetrieb. Jeder dieser Anwendungsfälle entwickelt sich weiter und hat seine eigenen Messgrößen – dies liefert uns einen Anhaltspunkt, anhand dessen wir beurteilen können, wie effektiv die KI ist und welche geschäftlichen Vorteile sich aus dieser Art der KI-Nutzung ergeben.

Da immer mehr Unternehmen zum Ziel von Angreifern werden, können wir nicht weiterhin denselben Ansatz verfolgen, wie bisher und andere Ergebnisse erwarten. Da Angreifer KI einsetzen, um ihre Taktiken zu verbessern und ihre Erfolgschancen zu erhöhen, müssen wir als Verteidiger überlegen, wie wir KI einsetzen können, um auch unsere eigenen Effizienzziele zu erreichen. Gleichzeitig gibt es aber noch andere Bereiche, die wir betrachten müssen – wie wirkt sich dies auf unsere Personalentwicklung und unseren Kompetenzansatz aus? Wie können wir sicherstellen, dass unsere Mitarbeiter KI nutzen, um ihre Effizienz zu steigern, sich aber nicht auf KI als Krücke verlassen, um Ergebnisse zu erzielen? Und was passiert im Laufe der Zeit, wenn wir KI auf neue Weise einsetzen?

Die richtigen Kennzahlen für KI zu finden, bedeutet nicht nur, den Einsatz zu verfolgen, sondern auch sicherzustellen, dass sich unser Geschäftsansatz in den Messungen widerspiegelt, die wir im Laufe der Zeit vornehmen. Wir möchten sicherstellen, dass wir stets den Wert zeigen, den unser Team unseren Kunden bietet. Auch wenn KI uns schneller macht, sind es doch das Wissen, die Erfahrung und die Erkenntnisse, die Kunden schätzen, und wir müssen KI als Werkzeug nutzen, um diesen Ansatz im Laufe der Zeit zu unterstützen.

Ciaran Luttrell ist Global Vice President SOC Operations bei eSentire