AI-Essentials: KI wird zur Infrastruktur-, Storage- und Governance-Frage

Warum HBM, NUMA, Cloud, RAG, Backup, Security und Governance darüber entscheiden, ob KI im Unternehmen produktiv und kontrollierbar wird.

Mit dem Übergang zu großen neuronalen Netzen wurde deutlich, dass KI-Leistung nicht allein von der Zahl der Rechenkerne abhängt. Entscheidend ist, wie schnell Daten an diese Recheneinheiten gelangen. Moderne KI-Systeme sind daher nicht nur Compute-Systeme, sondern hochgradig optimierte Speicher- und Datenbewegungsarchitekturen.

Speicherarchitektur wird Teil der KI-Leistung

Eine zentrale Rolle spielt dabei HBM, also High Bandwidth Memory. HBM sitzt direkt neben oder auf dem Package von GPUs und KI-Beschleunigern und liefert erheblich höhere Speicherbandbreiten als klassischer Server-RAM. Für große Sprachmodelle, Trainingsläufe und Inferenz mit hohen Durchsatzanforderungen ist diese Bandbreite entscheidend. Modellgewichte, Aktivierungen und Zwischenergebnisse müssen ständig gelesen und geschrieben werden. Wenn der Speicher nicht schnell genug liefert, bleibt teure Rechenleistung ungenutzt.

HBM löst jedoch nicht alle Speicherprobleme. Die Kapazität ist begrenzt und deutlich teurer als DRAM oder Flash. Große Modelle müssen daher über mehrere Beschleuniger, Speicherhierarchien und Datenpfade verteilt werden. Zwischen HBM, CPU-RAM, NVMe-Storage, Object-Storage und Netzwerk entsteht eine mehrstufige Datenarchitektur. Je größer das Modell und je höher die Last, desto wichtiger wird die Frage, wo Daten liegen und wie schnell sie bewegt werden können.

Auch NUMA-Architekturen werden in diesem Kontext relevant. NUMA steht für Non-Uniform Memory Access und beschreibt Systeme, in denen mehrere Prozessoren zwar auf gemeinsamen Speicher zugreifen können, der Zugriff aber nicht überall gleich schnell ist. Ein CPU-Sockel greift schneller auf seinen lokalen Speicher zu als auf den Speicher eines anderen Sockels. In klassischen Unternehmensanwendungen fällt das nicht immer stark ins Gewicht. Bei KI-Workloads kann es jedoch messbar Leistung kosten.

Das gilt besonders für große GPU-Server mit mehreren CPU-Sockeln, PCIe-Verbindungen, Netzwerkkarten und NVMe-Geräten. Wenn ein KI-Prozess auf einem CPU-Sockel läuft, die zugehörige GPU aber topologisch näher an einem anderen Sockel hängt, entstehen unnötige Datenwege. Ähnliches gilt für Storage- und Netzwerkadapter. NUMA-Affinität, also die bewusste Zuordnung von Prozessen, Speicher und Geräten, kann daher über Latenz, Durchsatz und GPU-Auslastung entscheiden.

Für KI-Training und Inferenz bedeutet das: Datenlokalität ist kein Detail für Systemarchitekten, sondern Teil der Wirtschaftlichkeit. Eine teure GPU kann warten, wenn Daten aus dem falschen Speicherbereich, über ungünstige PCIe-Wege oder aus zu langsamen Storage-Tiers kommen. Damit wird KI-Infrastruktur zur Disziplin, in der Rechenleistung, Speicherbandbreite, Netzwerkdesign und Datenplatzierung gemeinsam geplant werden müssen.

Cloud und Big Data beschleunigen die KI-Entwicklung

Der Aufstieg von Cloud-Computing und Big Data war ein weiterer Beschleuniger. Plattformen, Sensoren, Anwendungen, Logfiles, Transaktionen, Bilder, Texte und Maschinendaten erzeugten riesige Datenbestände. Gleichzeitig machten Cloud-Anbieter Rechenleistung, Speicher, Datenbanken und KI-Services flexibel verfügbar.

Das senkte Einstiegshürden. Unternehmen konnten KI-Projekte starten, ohne sofort eigene GPU-Cluster aufzubauen. Trainingsjobs, Datenanalyse, Modellbereitstellung und Inferenz ließen sich als Cloud-Dienste nutzen.

Die Kehrseite ist Abhängigkeit. Große KI-Modelle erfordern Kapital, Rechenzentren, Chips, Energie, Daten und Know-how. Diese Ressourcen konzentrieren sich bei wenigen großen Plattformen. Unternehmen müssen daher entscheiden, welche KI-Workloads in die Public Cloud gehören, welche in Private-Cloud- oder On-Premises-Umgebungen bleiben und wo hybride Modelle sinnvoll sind.

Gerade bei sensiblen Unternehmensdaten ist diese Entscheidung kritisch. KI-Projekte berühren Datenschutz, geistiges Eigentum, Branchenregulierung, Mandantentrennung und Zugriffskontrolle. Die Cloud macht KI verfügbarer, aber nicht automatisch beherrschbarer.

Generative KI verändert die Nutzung von Daten

Mit der Transformer-Architektur und großen Sprachmodellen begann die aktuelle Phase generativer KI. Solche Modelle können Texte erzeugen, zusammenfassen, übersetzen, klassifizieren, Code schreiben oder Fragen beantworten. Bild-, Audio- und Videomodelle erweitern diesen Ansatz auf weitere Datentypen.

Der Unterschied zu vielen früheren KI-Systemen liegt in der direkten Nutzbarkeit. KI ist nicht mehr nur in Suchmaschinen, Empfehlungssystemen oder Betrugserkennung verborgen. Sie wird zum Werkzeug für Wissensarbeit, Softwareentwicklung, Support, Dokumentation und Analyse.

Für IT-Organisationen entsteht dadurch ein neues Problem: Die Anforderungen kommen schnell aus den Fachbereichen. Mitarbeiter nutzen öffentliche KI-Dienste, Anbieter integrieren KI-Funktionen in bestehende Software, und Management erwartet Produktivitätsgewinne. Die Infrastruktur- und Security-Teams müssen nachziehen.

Dabei ist generative KI kein neutrales Frontend. Sie verändert die Datenflüsse. Dokumente werden indexiert, Inhalte werden in Vektoren umgerechnet, interne Wissensbestände werden mit Modellen verbunden, Prompts und Antworten müssen protokolliert werden. Damit entstehen neue Datenklassen, neue Speicherorte und neue Risiken.

RAG macht Storage und Metadaten strategisch

Ein besonders relevanter Ansatz für Unternehmen ist Retrieval-Augmented Generation, kurz RAG. Dabei wird ein Sprachmodell mit externen Wissensquellen verbunden. Das Modell beantwortet Fragen nicht nur aus seinem Trainingswissen, sondern greift auf Dokumente, Datenbanken, Wikis, Ticketsysteme oder andere Unternehmensquellen zurück.

Für professionelle IT-Anwender ist RAG deshalb wichtig, weil es die Brücke zwischen generativer KI und Unternehmensdaten schlägt. Statt ein großes Modell vollständig neu zu trainieren, können vorhandene Datenbestände angebunden werden. Das klingt einfacher, als es in der Praxis ist.

Die Qualität eines RAG-Systems hängt direkt von der Qualität der Dateninfrastruktur ab. Dokumente müssen auffindbar, aktuell, berechtigt, versioniert und semantisch sinnvoll erschlossen sein. Schlechte Metadaten führen zu schlechten Antworten. Veraltete Dokumente erzeugen falsche Ergebnisse. Unklare Berechtigungen können zu Datenabfluss führen. Dubletten, veraltete Sharepoint-Bestände oder unstrukturierte Dateiablagen werden zum Problem.

Damit wird Storage nicht nur Ablageort, sondern Teil der KI-Wertschöpfung. Object-Storage, Vektordatenbanken, Suchindizes, Metadatenkataloge und Datenklassifizierung werden zentrale Bausteine. Unternehmen, die ihre Datenlandschaft nicht im Griff haben, werden mit generativer KI keine belastbaren Ergebnisse erzielen.

Backup, Archivierung und Datenherkunft gewinnen an Bedeutung

KI-Projekte erzeugen neue Anforderungen an Backup und Archivierung. Trainingsdaten, Modellversionen, Prompts, Antwortverläufe, Vektorindizes, Konfigurationsdaten und Auswertungen können geschäftskritisch werden. Gleichzeitig muss nachvollziehbar bleiben, welche Daten in welchem Modell oder in welchem KI-Prozess verwendet wurden.

Das betrifft auch Compliance. Wenn personenbezogene oder vertrauliche Daten in KI-Workflows einfließen, müssen Lösch- und Auskunftspflichten berücksichtigt werden. Bei regulierten Branchen reicht es nicht, nur ein Modell bereitzustellen. Es muss auch dokumentiert werden, welche Datenbasis verwendet wurde, welche Version produktiv war und wie Ergebnisse zustande kamen.

Auch Ransomware-Schutz wird wichtiger. KI-Systeme hängen von großen Datenbeständen ab. Werden Trainingsdaten, Dokumentenarchive oder Vektorindizes manipuliert, kann das nicht nur Verfügbarkeit, sondern auch Ergebnisqualität gefährden. Manipulierte Wissensbestände können falsche Antworten erzeugen. Backup und unveränderliche Kopien bleiben daher zentrale Schutzmaßnahmen.

KI ersetzt klassische Datensicherung nicht. Sie erhöht deren Bedeutung.

Inferenz: Dauerlust der Nutzer, Dauerlast im Rechenzentrum

Die öffentliche Debatte konzentriert sich oft auf das Training großer Modelle. Für Unternehmen kann jedoch Inferenz zur wichtigeren Betriebsfrage werden. Inferenz bezeichnet die Nutzung eines trainierten Modells im laufenden Betrieb. Jede Anfrage an einen Chatbot, jede Dokumentenanalyse, jede Codehilfe und jede automatische Klassifikation erzeugt Inferenzlast.

Wenn KI-Funktionen breit in Unternehmensprozesse eingebettet werden, entsteht eine dauerhafte Rechenzentrums- und Cloud-Last. Sie betrifft CPUs, GPUs, Speicher, Netzwerk, Latenz, Energie und Kosten. Besonders kritisch wird dies bei interaktiven Anwendungen, bei denen Antwortzeiten niedrig bleiben müssen.

Hier treffen HBM, NUMA und klassische Storage-Fragen direkt aufeinander. HBM liefert die hohe Bandbreite direkt am Beschleuniger, reicht aber kapazitiv nicht für alle Datenbestände. CPU-RAM, NVMe-SSDs, verteilte Dateisysteme, Object-Storage und Vektordatenbanken bleiben Teil der Gesamtarchitektur. NUMA-Effekte können wiederum darüber entscheiden, ob CPU-Vorverarbeitung, Netzwerkzugriff und GPU-Anbindung effizient zusammenspielen.

Damit entstehen neue Kapazitätsfragen. Welche Modelle laufen zentral? Welche lokal? Welche Workloads gehören in die Cloud? Welche können auf kleineren spezialisierten Modellen betrieben werden? Welche Daten müssen nahe am Modell liegen? Welche Latenz ist akzeptabel? Welche Kosten pro Anfrage entstehen?

Die Antworten darauf entscheiden, ob KI produktiv wirtschaftlich ist oder zum unkontrollierten Kostenblock wird.

Kleine Modelle, Edge-KI und hybride Architekturen

Der Trend geht nicht nur zu immer größeren Modellen. Parallel wächst das Interesse an kleineren, spezialisierten Modellen. Sie können auf bestimmte Aufgaben, Branchen oder Datenbestände zugeschnitten sein und benötigen weniger Rechenleistung. Für Unternehmen kann das attraktiver sein als der dauerhafte Einsatz großer allgemeiner Modelle.

Kleine Modelle lassen sich eher lokal, in Private-Cloud-Umgebungen oder am Edge betreiben. Das kann Datenschutz, Latenz und Kosten verbessern. Besonders in Produktion, Medizin, Forschung, kritischer Infrastruktur oder Behördenumgebungen sind solche Ansätze relevant.

Hybride KI-Architekturen werden daher wahrscheinlicher als ein reiner Cloud-Ansatz. Große Cloud-Modelle übernehmen komplexe, allgemeine Aufgaben. Spezialisierte Modelle laufen näher an den Daten. RAG-Systeme verbinden beide Welten. Storage- und Datenmanagement müssen diese Verteilung unterstützen.

Für die IT bedeutet das mehr Komplexität. Daten müssen zwischen On-Premises, Private Cloud, Public Cloud und Edge kontrolliert fließen. Berechtigungen, Verschlüsselung, Klassifizierung und Monitoring müssen über diese Umgebungen hinweg funktionieren.

Security: KI als Werkzeug und Angriffsziel

KI verändert auch die IT-Sicherheit. Einerseits unterstützt KI bei Anomalieerkennung, Angriffserkennung, Malware-Analyse, Phishing-Erkennung und automatisierter Reaktion. Security-Teams können große Datenmengen schneller auswerten und Muster erkennen, die manuell schwer sichtbar wären.

Andererseits wird KI selbst zur Angriffsfläche. Prompt Injection kann KI-Systeme dazu bringen, unerwünschte Befehle auszuführen oder vertrauliche Informationen preiszugeben. Manipulierte Trainings- oder Referenzdaten können Antworten verfälschen. Unsichere Plugin- oder Agentenfunktionen können Zugriff auf Systeme eröffnen. Generative KI erleichtert zudem die Erstellung glaubwürdiger Phishing-Texte, Fake-Dokumente und Social-Engineering-Kampagnen.

Für Unternehmen ergibt sich daraus ein nüchterner Befund: KI-Systeme müssen wie produktive IT-Systeme abgesichert werden. Sie benötigen Zugriffskontrolle, Protokollierung, Rechtebegrenzung, Datenklassifizierung, Monitoring, Red-Teaming und klare Betriebsverantwortung. Ein Chatbot mit Zugriff auf interne Daten ist kein harmloses Hilfstool, sondern ein neues Interface zur Unternehmensinformation.

Governance entscheidet über Produktivreife

Viele KI-Projekte bleiben in der Pilotphase stecken. Der Grund liegt selten nur im Modell. Häufig fehlen Governance, Datenqualität, klare Verantwortlichkeiten und wirtschaftliche Nachweise.

Produktive KI braucht Regeln. Wer darf welche Modelle nutzen? Welche Daten dürfen verwendet werden? Wie werden Ergebnisse überprüft? Welche Anwendungen sind kritisch? Wer haftet bei Fehlern? Wie werden Modelle aktualisiert? Welche Protokolle werden gespeichert? Wie werden Kosten überwacht?

In Europa kommt zusätzlich der AI Act als regulatorischer Rahmen hinzu. Er verfolgt einen risikobasierten Ansatz. Je nach Anwendung können Transparenz-, Dokumentations- und Prüfpflichten entstehen. Auch Frameworks wie das AI Risk Management Framework des NIST oder die OECD-Prinzipien für vertrauenswürdige KI zeigen: KI wird nicht nur eine Frage der Innovation, sondern auch der Kontrolle.

Für IT-Abteilungen ist das keine Nebensache. Governance muss in Architektur, Betrieb und Beschaffung einfließen. Wer KI-Tools einkauft, ohne Datenflüsse, Modellstandorte, Logging, Rechte und Exit-Strategien zu prüfen, baut Abhängigkeiten und Risiken auf.

Von der Modellfrage zur Plattformfrage

Die Geschichte der KI führt zu einer klaren Konsequenz: Der Fokus verschiebt sich von einzelnen Modellen zu Plattformen. Unternehmen benötigen Umgebungen, in denen Daten vorbereitet, Modelle angebunden, Workflows kontrolliert, Ergebnisse überwacht und Kosten gesteuert werden können.

Dazu gehören Datenplattformen, MLOps- und LLMOps-Werkzeuge, Vektordatenbanken, API-Gateways, Identity-Management, Observability, Backup, Archivierung und Security-Kontrollen. KI wird damit Teil der Enterprise-Architektur.

Diese Entwicklung erinnert an frühere Infrastrukturwellen. Virtualisierung, Cloud, Container und Kubernetes wurden ebenfalls zunächst als Technologie betrachtet und später zu Betriebsmodellen. Bei KI läuft dieser Prozess schneller, weil der Druck aus Fachbereichen, Management und Softwareanbietern gleichzeitig kommt.

Die zentrale Aufgabe der IT besteht darin, daraus keine unkontrollierte Schattenarchitektur entstehen zu lassen.

Fazit: KI ist die nächste Bewährungsprobe für Dateninfrastruktur

Die Geschichte der künstlichen Intelligenz zeigt: Jeder große Fortschritt wurde durch Infrastruktur ermöglicht. Symbolische KI scheiterte an Starrheit und Pflegeaufwand. Machine Learning wurde durch Datenbestände und Statistik stark. Deep Learning brauchte GPUs, HBM, Speicherbandbreite und große Trainingsdaten. Generative KI skaliert nur mit Cloud, Rechenzentren, Datenpipelines und Governance.

Für professionelle IT-Anwender ist KI deshalb keine isolierte Anwendungskategorie. Sie ist eine neue Belastungsprobe für Datenarchitekturen. Storage, Backup, Cloud, Rechenzentrum, Security, Speicherhierarchien und Compliance rücken näher zusammen.

NUMA und HBM zeigen exemplarisch, wie tief KI inzwischen in die Systemarchitektur reicht. Es genügt nicht, Beschleunigerkarten in Server zu stecken und ein Modell zu installieren. Entscheidend ist, ob Daten, Speicher, CPUs, GPUs, Netzwerk und Storage als zusammenhängender Datenpfad funktionieren. Sonst wird Leistung bezahlt, aber nicht genutzt.

Wittgenstein, Kant, Lyotard, Heidegger und Benjamin stehen für unterschiedliche Fragen, die durch KI neu praktisch werden: Wie entsteht Bedeutung? Wo liegen die Grenzen maschineller Urteilskraft? Wie wird Wissen verwertbar? Wie ordnet Technik die Welt? Was geschieht mit Originalität und Reproduzierbarkeit? Für die Unternehmens-IT sind das keine abstrakten Fragen. Sie erscheinen konkret in Datenmodellen, Metadaten, Zugriffsrechten, Archivierung, Auditierbarkeit und Governance.

Der produktive Nutzen von KI hängt nicht von Demos ab, sondern von belastbaren Betriebsmodellen. Unternehmen müssen wissen, wo ihre Daten liegen, welche Qualität sie haben, wer darauf zugreifen darf, wie sie gesichert werden und wie KI-Ergebnisse kontrolliert werden. Ohne diese Grundlage bleibt KI ein Experiment. Mit ihr kann KI zu einem produktiven Bestandteil moderner IT werden.

Die nüchterne Schlussfolgerung lautet: KI ist kein Ersatz für Infrastrukturkompetenz. Sie macht diese Kompetenz wichtiger.