Wenn KI-Forscher warnen, KI könnte uns alle vernichten – was sollen CIOs davon halten?

Zwischen existenziellen Warnungen und Einführungsdruck: Warum Unternehmen KI nicht stoppen, sondern konsequenter steuern sollten.

Ein leitender Anthropic-Forscher hält es für zu mehr als 10 Prozent wahrscheinlich, dass eine fortgeschrittene KI innerhalb des nächsten Jahrzehnts zum Aussterben der Menschheit führt. Technologieführungskräfte, die ohnehin unter Druck stehen, KI einzuführen, sehen sich damit einer neuen Frage gegenüber: Wie sollten Unternehmen ihre aktuellen KI-Ziele gegen die Risiken der Technologie abwägen?

In den vergangenen Jahren haben Führungskräfte aus der Wirtschaft den CIOs eine klare Botschaft vermittelt: Treiben Sie die KI-Einführung schneller voran. Vorstände fordern KI-Strategien, Mitarbeiter wünschen sich KI-Tools, und Technologieanbieter integrieren KI in nahezu jedes ihrer Produkte.

Dann erscheint eine Schlagzeile, die in die entgegengesetzte Richtung zu weisen scheint. Diese Woche erklärte ein leitender Forscher bei Anthropic, er halte es für zu mehr als 10 Prozent wahrscheinlich, dass fortgeschrittene KI innerhalb des nächsten Jahrzehnts zum Aussterben der Menschheit führt. Ein anderer ehemaliger Forscher machte seinen Rücktritt öffentlich, weil er den Wettlauf um immer leistungsfähigere KI-Systeme mit Sorge betrachtet, wie NBC News berichtete.

Die Meldungen entfachten die Debatte über die Risiken von KI neu. Gespräche mit führenden Technologieexperten zeigen jedoch, dass viele Unternehmen die Kontroverse aus einem anderen Blickwinkel betrachten. Statt über hypothetische Weltuntergangsszenarien zu diskutieren, konzentrieren sich CIOs und andere IT-Führungskräfte auf ein drängenderes Anliegen: die Steuerung und Verwaltung der KI-Tools, die in ihren Unternehmen bereits eingesetzt werden.

Die Botschaft lautet nicht „Stopp“, sondern „Steuerung“

Keiner der Technologieführer, mit denen MES Computing sprach, deutete an, dass die Warnungen Unternehmen dazu veranlassen sollten, ihre KI-Initiativen aufzugeben. Im Gegenteil: Die Äußerungen unterstreichen aus ihrer Sicht die Notwendigkeit einer strengeren Steuerung und Aufsicht.

„Warnungen wie diese sollten nicht die Entscheidung beeinflussen, ob wir in KI investieren, sondern wie wir darin investieren“, sagte Sarfraz Shaikh, CIO/CISO bei ONEMESA. „Wenn diejenigen, die unmittelbar an der Entwicklung dieser Systeme beteiligt sind, Bedenken äußern, sollte die Unternehmensführung dies als wertvollen Beitrag betrachten und dieselbe Disziplin anwenden wie bei jeder Investition mit weitreichenden Auswirkungen: klare Zuständigkeiten, eine definierte Risikotoleranz, starke Governance und unabhängige Aufsicht.“

Shaikh argumentierte, Unternehmen könnten Risikobewertungen nicht einfach an Technologieanbieter delegieren. „Für mittelständische Unternehmen lautet die Erkenntnis: Wir können die Risikobewertung nicht an den Anbieter auslagern“, sagte er. „Bevor KI in zentrale Geschäftsprozesse eingebettet wird, müssen wir kritische Fragen zum Umgang mit Daten, zum Modellverhalten, zur Sicherheit, zur Rechenschaftspflicht und dazu stellen, in welchen Bereichen eine menschliche Überprüfung unverzichtbar bleibt.“

Diese Einschätzung teilte auch Jim Cusack, CIO bei VanEerden. Schlagzeilen sollten seiner Ansicht nach eher zum Lernen als zur Angst anregen. „Ich würde IT-Führungskräften empfehlen, solche Warnungen zum Anlass zu nehmen, mehr darüber zu erfahren – insbesondere darüber, was sie ausgelöst hat“, sagte Cusack. „IT-Führungskräfte müssen sich kontinuierlich über KI-Risiken informieren und darüber, wie sich diese durch eine strenge Governance mindern lassen, die Bestandteil jeder KI-Investition sein muss.“

Die Risiken von heute und die Ängste von morgen

Ein Thema zog sich durch nahezu alle Antworten: Führungskräfte im Bereich Unternehmenstechnologie sind deutlich besorgter über die heutigen KI-Risiken als über spekulative Zukunftsszenarien.

„Für die meisten unserer Kunden sind Bedenken hinsichtlich der KI-Sicherheit im existenziellen Sinne derzeit kein Thema in den Vorstandsetagen“, sagte Muhammad Yahya Patel, vCISO und Berater für Cybersicherheit bei Huntress. „Die Diskussion ist viel unmittelbarer: Wie nutzen wir KI, um mit weniger Aufwand mehr zu erreichen? Wie verhindern wir, dass unsere Mitarbeiter nicht genehmigte KI-Tools verwenden? Und wie gewinnen wir einen Überblick darüber, wo und welche KI-Tools von den Mitarbeitern eingesetzt werden?“

Patel erklärte, die breitere Debatte über die Zukunft der Menschheit sei zwar wichtig, habe aber wenig mit den Entscheidungen zu tun, die die meisten Unternehmen heute treffen müssen. „Kunden fragen nicht, ob KI für die Menschheit sicher ist“, sagte er. „Sie fragen, ob die KI, die ihre Mitarbeiter vergangene Woche installiert haben, für das Netzwerk sicher ist. Das sind zwei sehr unterschiedliche Fragen, und nur eine davon beschäftigt die Sicherheitsteams derzeit.“

Auch Andrew Kon, Leiter des Bereichs Professional Services bei High Touch Technologies, hob diesen Fokus auf praktische Governance-Fragen hervor. „Nach unseren Beobachtungen überwiegt der Druck zur Einführung von KI nach wie vor die Sicherheitsbedenken der Unternehmen“, so Kon. „Die meisten unserer Kunden wollen die Produktivität nicht beeinträchtigen. Vielmehr möchten sie besser nachvollziehen, wie KI eingesetzt wird, damit sie die richtigen Cybersicherheitsmaßnahmen ergreifen können.“ Kon zufolge fragen Unternehmen zunehmend nicht mehr, ob Mitarbeiter KI nutzen, sondern wie sich deren Einsatz verantwortungsvoll steuern lässt.

Trotz der vielfach veröffentlichten Warnungen glauben nur wenige Technologieführer, dass Unternehmen ihre KI-Einführung wesentlich verlangsamen werden. „Der Einführungsdruck überwiegt nach wie vor. Und zwar bei Weitem“, sagte Patel. „Unternehmen, die bei KI vollständig auf die Bremse treten, sind in der Minderheit und einem Wettbewerbsdruck ausgesetzt, der es schwierig macht, diese Haltung aufrechtzuerhalten.“

Andere berichteten von einer ähnlichen Haltung ihrer Kunden. „Wir beobachten nicht, dass sich Kunden aufgrund von Sicherheitsbedenken von KI zurückziehen“, sagte Vidya Shankaran, Field CTO bei Commvault. „Mit zunehmender Einführung fordern sie vielmehr stärkere Governance, Sicherheit und Rechenschaftspflicht. Der Druck zur Einführung von KI bleibt hoch, da der geschäftliche Nutzen unbestreitbar ist.“ Shankaran verglich die aktuelle Situation mit einer der frühesten Technologien der Menschheit: „KI ist das, was das Feuer für frühe Zivilisationen war: enorm mächtig, transformativ und potenziell gefährlich, wenn sie unkontrolliert bleibt.“

Mohammed Aboul-Magd, Geschäftsführer bei SandboxAQ, erklärte, Sicherheitsbedenken würden die Einführung voraussichtlich nicht bremsen, sondern die Erwartungen an Governance und geschäftlichen Nutzen erhöhen. „Wir glauben nicht, dass Sicherheitsbedenken den Druck zur Einführung von KI wesentlich mindern. Vielmehr verändern sie die Maßstäbe für die Einführung“, sagte Aboul-Magd. „Sicherheit, Governance und Schutzmaßnahmen werden zunehmend zur Grundvoraussetzung. Was sich jetzt ändert, ist der Fokus auf den Nutzen.“ Ihm zufolge gehen Unternehmen zunehmend über Fragen zur Einführungsgeschwindigkeit hinaus und konzentrieren sich darauf, ob KI messbare Geschäftsergebnisse liefert. „Unternehmen bewegen sich weg von der Frage ‚Wie schnell können wir KI einführen?‘ hin zu ‚Was haben wir tatsächlich davon?‘“, sagte er.

Zugleich versuchen Unternehmen, langfristige Bedenken mit den aktuellen geschäftlichen Realitäten in Einklang zu bringen. „Ich glaube nicht, dass Warnungen wie diese Kunden von KI abschrecken, aber sie regen dazu an, intensiver darüber nachzudenken, wohin sich diese Technologie entwickelt“, sagte Ross Filipek, CISO bei Corsica Technologies. „Gleichzeitig besteht nach wie vor ein enormer Druck, KI einzuführen.“

Governance wird zur gemeinsamen Grundlage

Selbst unter den Führungskräften, die die Debatte über das Aussterberisiko für weitgehend theoretisch hielten, wiesen nur wenige die zugrunde liegenden Probleme gänzlich zurück. Jason Frame, CIO und amtierender Verwaltungsdirektor des Southern Nevada Health District, verglich die Situation damit, wie Organisationen des öffentlichen Gesundheitswesens mit Unsicherheit umgehen. „Diese Bedrohungen mögen alarmistisch klingen und heute noch theoretischer Natur sein“, sagte Frame. „Aus Sicht der öffentlichen Gesundheit begegnen wir Unsicherheit jedoch, indem wir Schutzmaßnahmen ergreifen und sie kontinuierlich anpassen, sobald wir mehr erfahren.“

Ähnlich argumentierte Yuri Kasan, CIO bei InfoDefense und Berater für Cyberrisiken sowie Ransomware-Vorbereitung für kleine und mittelständische Unternehmen: Organisationen sollten die Warnungen weder ignorieren noch überreagieren. „CIOs sollten Warnungen wie diese nicht ignorieren, aber auch nicht in Panik geraten“, sagte Kasan. „Unternehmen sollten mit begrenzten, klar definierten Anwendungsbereichen beginnen, Mitarbeiter in wichtige Entscheidungen einbeziehen und sicherstellen, dass sie das System bei Bedarf überwachen, einschränken oder abschalten können.“

Fazit

Die Antworten zeigen: Unternehmensleiter mögen die Wahrscheinlichkeit künftiger KI-Bedrohungen unterschiedlich einschätzen. Weitgehend einig sind sie sich jedoch darin, worauf sich mittelständische Unternehmen derzeit konzentrieren sollten: Governance etablieren, menschliche Aufsicht gewährleisten, den Einsatz von KI transparent machen und eine klare Rechenschaftspflicht sicherstellen.

--

Dieser Artikel erschien ursprünglich auf unserer Schwester-Website MES Computing.