Wie man große Sprachmodelle (LLM) mit Hilfe von Quanten zähmt

Eine neue Generation quanteninspirierter Komprimierungstechniken hilft, die Modellgröße und den Energiebedarf von LLMs zu reduzieren und tut gleichzeitig etwas für den Datenschutz

Angesichts des steigenden Energieverbrauchs durch KI, insbesondere in Europa und Deutschland, sind innovative Ansätze gefragt. Einer dieser Ansätze ist die quanteninspirierte Komprimierungstechnik. Sie revolutionieren die Nutzung großer Sprachmodelle (LLMs) durch eine drastische Reduktion der Modellgröße und des Energieverbrauchs bei gleichbleibender Leistung. Diese Entwicklung ermöglicht den effizienten und sicheren Einsatz von KI insbesondere in energie- und datensensiblen Bereichen wie Produktion, Gesundheitswesen und Edge-Computing. Das ist wiederum gut für den Schutz sensibler Daten. Román Orus, Mitbegründer und Chief Scientific Officer beim Quanten-KI-Unternehmen Multiverse Computing, beantwortet vier Fragen zu dieser Technologie.

In Europa hat sich KI branchenübergreifend zu einer wichtigen strategischen Stütze entwickelt – von der Automobil- und Verteidigungsindustrie über das Gesundheitswesen bis hin zur fortschrittlichen Fertigung. Die rasche Expansion der KI, insbesondere durch Large Language Models (LLMs), wirft jedoch Bedenken hinsichtlich Energieverbrauch und Abhängigkeit von der Infrastruktur sowie der Kontrolle über sensible Daten auf. Die Internationale Energieagentur (IEA) schätzt, dass die Datenverarbeitung für KI bis 2030 allein in den USA mehr Strom verbrauchen wird als die Herstellung von Stahl, Zement, Chemikalien und allen anderen energieintensiven Gütern zusammen.

In Deutschland legt deswegen das Energieeffizienzgesetz bereits Ziele für die Reduzierung des Energieverbrauchs bis 2030 fest. Rechenzentren müssen ab 2026 mindestens 10 Prozent der Energie zurückgewinnen bzw. wiederverwenden, bis 2028 soll dieser Anteil auf 20% steigen. Diese Einsparungen sind nur mit neuen technologischen Ansätzen möglich, wie einer neuen Generation quanteninspirierter Komprimierungstechniken.

Diese Methoden reduzieren die Modellgröße und den Energiebedarf erheblich, während sie die Leistung beibehalten, wodurch KI lokal, sicher und effizient eingesetzt werden kann.

Román Orus, Mitbegründer und Chief Scientific Officer beim Quanten-KI-Unternehmen Multiverse Computing und Entwickler von CompactifAI, einem KI-Modellkompressor, beantwortet vier Fragen zu den wissenschaftlichen Prinzipien hinter der komprimierten KI:

Die nächste Generation von Komprimierungstechniken für LLMs erzielt drastische Größenreduzierungen bei minimalen Auswirkungen auf die Genauigkeit. Was sind die wissenschaftlichen Grundlagen, die diesen Durchbruch ermöglichen?

Der Durchbruch liegt in quanteninspirierten Tensornetzwerken, die neuronale Netzwerke in ihrem Kern restrukturieren, indem sie große Matrizen in kleinere, miteinander verbundene Komponenten zerlegen. In Kombination mit Quantisierungstechniken reduziert dieser Ansatz die Anzahl der Parameter, während die wesentlichen Korrelationen innerhalb der Daten erhalten bleiben.

Im Vergleich zum herkömmlichem Pruning oder Quantisierung (der Verringerung der Genauigkeit numerischer Werte), die in sensiblen Anwendungen also die Genauigkeit beeinträchtigen können, bewahrt die Komprimierung durch Tensornetzwerke die volle Betriebskapazität des Modells. In der Praxis führt dies zu einer Reduzierung der Modellgröße um bis zu 95 Prozent, einer verbesserten Inferenzgeschwindigkeit und der Kompatibilität mit einer breiten Palette von Hochleistungsrechnern bis hin zu Edge-Geräten.

Welche Einsatzszenarien sind mit den neuen LLM-Architekturen heute schon möglich, zum Beispiel auf Edge-KI-Geräten oder in Umgebungen mit Einschränkungen?

Die Komprimierung ermöglicht eine Verlagerung von Cloud-basierter KI hin zu Edge Computing und erschließt eine breite Palette von Anwendungen. Komprimierte KI-Modelle bieten einen entscheidenden Vorteil: Sie können lokal auf Hardware mit begrenzter Rechenkapazität, wie beispielsweise Drohnen oder eingebetteten Systemen, eingesetzt werden. Durch die Reduzierung der Modellgröße und der

Hardwareanforderungen kann KI vollständig am Netzwerkrand ausgeführt werden und sofortige Intelligenz in Echtzeit liefern, ohne auf externe Infrastruktur angewiesen zu sein und ohne übermäßigen Energieverbrauch. Eine Aufklärungsdrohne, zum Beispiel, die ein Grenzgebiet patrouilliert kann mit einem eingebetteten KI-System, das darauf trainiert ist, Geländemerkmale oder fremde Ausrüstung zu erkennen, kann ihre Mission auch bei Funkstille selbstständig ausführen. Auch in der Cybersicherheit oder der elektronischen Kriegsführung sorgt der lokale KI-Einsatz dafür, dass sensible Daten auf das Einsatzgebiet beschränkt bleiben, was sowohl die Sicherheit als auch die taktische Zuverlässigkeit erhöht.

In der Produktion ermöglichen komprimierte Modelle die Echtzeitüberwachung und vorausschauende Wartung vor Ort, ohne sensible Daten extern zu senden. Ein erfolgreiches Projekt in einer europäischen Produktionsstätte demonstrierte die Vorteile der quanteninspirierten Komprimierung eines KI-Modells für die Herstellung von Automobilkomponenten. Die Anwendung fortschrittlicher Tensornetzwerk-Methoden führte zu einer deutlichen Größenreduzierung, was die Reaktionszeit des Modells verdoppelte und seinen Energieverbrauch um etwa 50 Prozent senkte.

Im Gesundheitswesen können Krankenhäuser Diagnosen lokal, also auf Tablets, Workstations oder in privaten Rechenzentren, durchführen, wodurch die Privatsphäre der Patienten geschützt und regulatorische Anforderungen erfüllt werden. Diese Methode ermöglicht es auch kleineren Institutionen mit begrenzter Infrastruktur von KI-Fähigkeiten zu profitieren. Der gemeinsame Nenner ist kompakte, effiziente und GPU-unabhängige KI, die zuverlässig in verschiedenen Umgebungen arbeiten kann.

Angesichts der Tatsache, dass KI-Modelle immer größer werden, ist die Notwendigkeit für Effizienz größer denn je. Können diese fortschrittlichen Komprimierungstechniken eine skalierbare Antwort auf die Umwelt- und Energieherausforderungen im Zusammenhang mit generativer KI bieten?

Ja. Wie wir schon in der Fertigung gesehen haben, können komprimierte Modelle den Energieverbrauch um bis zu 50 Prozent senken, während sie die doppelte Antwortgeschwindigkeit liefern. Dies führt zu erheblichen Kosteneinsparungen und einem nachhaltigeren KI-Ökosystem. Durch die Reduzierung der Anzahl der Operationen pro Inferenz senken diese Techniken sowohl die CO2-Bilanz als auch die Gesamtbetriebskosten ohne die Leistung zu beeinträchtigen.

Europa hat starke akademische Wurzeln in Quanten- und KI-Forschung, dennoch bestehen weiterhin Finanzierungslücken. Wie können Deeptech-Start-ups in diesen Bereichen wissenschaftliche Führung in industrielle Führung umwandeln? Welche Rolle sollten öffentliche Institutionen spielen?

Wissenschaftliche Exzellenz allein ist nicht ausreichend, um die industrielle Wettbewerbsfähigkeit zu gewährleisten. Eine der größten Herausforderungen für Deeptech-Start-ups ist die Sicherstellung stabiler Einnahmequellen, die die Marktfähigkeit demonstrieren. Eine der größten Barrieren ist das Fehlen jährlicher wiederkehrender Einnahmen. Öffentliche Programme unterstützen oft Forschung und Entwicklung in der Frühphase, übersehen jedoch die notwendige Kommerzialisierung.