Warum Unternehmen auf kleine Sprachmodelle setzen sollten

Das richtige Werkzeug für eine Aufgabe entscheidet über den Erfolg.

Generative KI hat das Potenzial, die Produktivität zu steigern, Prozesse zu optimieren und neue Werte zu erschließen. Allerdings gibt es mehrere Hürden für ihre effektive Umsetzung, darunter Sicherheit, Kosten und Know-how. Angesichts weniger solider Fallstudien, eines noch nicht ausgereiften Rechtsrahmens und eines Marktes, der von rascher Entwicklung und Euphorie geprägt ist, haben Unternehmen Schwierigkeiten, ihre Träume in eine KI-gestützte Realität umzusetzen. Sie wissen, dass sie handeln müssen, sind sich aber nicht sicher, wie.

Dies hilft zu verstehen, warum einige erste KI-Projekte die Erwartungen nicht erfüllt haben: Es ist schwierig, ein bewegliches Ziel zu treffen, die Nutzung von KI über Cloud-APIs ist teuer, und ohne klare Definitionen dafür, wie Erfolg aussieht, kommen POCs möglicherweise nicht weiter.

Die meisten Menschen nutzen KI heute, um ihre tägliche Arbeit effektiver zu gestalten, aber für Unternehmen ist es schwierig, diesen Wert zu erfassen, sagte Ceri Carlill, Business Value Director EMEA bei Red Hat. „Es ist in gewisser Weise ein versteckter Wert“, sagte er.

Der Schlüssel zur Erfassung des Mehrwerts liegt darin, klein anzufangen und mit einem ganz konkreten Anwendungsfall zu beginnen, argumentierte Robbie Jerrom, Senior Principal Technologist AI bei Red Hat. Erfolgreiche Implementierungen zeichnen sich auch dadurch aus, dass Führungskräfte aus den Bereichen IT, Recht, Personalwesen, Fachbereiche und Finanzen frühzeitig einbezogen werden, um die Abstimmung mit dem Geschäft sicherzustellen.

Ein Beispiel dafür ist Red Hat, das sich auf seine Support-Funktion konzentrierte und generative KI einsetzte, um viel gezieltere und kontextbezogene Antworten auf Support-Anfragen zu geben. „Dadurch konnten wir besser reagieren und im ersten Jahr 1,5 Millionen Dollar einsparen“, sagte Jerrom.

Es sei ein positiver Kreislauf, fügte er hinzu: Die generierten Antworten ermöglichen es den Support-Mitarbeitern, konsistentere Dokumentationen für unsere Wissensdatenbank zu erstellen, sodass das Ausgangsmaterial für das Modell genauer wird. „Wir profitieren doppelt und die Mitarbeiter sind zufriedener“, sagte Jerrom.

Der Vorteil kleiner Sprachmodelle

Der Erfolg eines KI-Projekts hängt auch von der Auswahl der richtigen Tools für die jeweilige Aufgabe ab. Dank ihres Trainings mit riesigen Online-Datenquellen sind große Sprachmodelle (LLMs) wirklich gut darin, Sprache zu verstehen, und „als Nebeneffekt wissen sie alles, von Sport bis Shakespeare“, erklärte Jerrom.

Allerdings ist ein Großteil dieses Wissens für einen bestimmten Anwendungsfall überflüssig – und LLMs sind sehr groß, erfordern spezielle Hardware und haben lange Startzeiten. Kleine Sprachmodelle (SLMs) verfügen über einen Großteil der linguistischen Expertise ihrer größeren Verwandten, aber ihre Wissensbasis ist viel spezialisierter, wodurch sie deutlich weniger Speicherplatz benötigen und auf den neuesten Laptops oder sogar Smartphones laufen können.

Das bedeutet, dass sie leicht für einen bestimmten Anwendungsfall optimiert werden können, beispielsweise in der Pharmaindustrie oder im Versicherungswesen. „Sie sind schneller zu trainieren, kostengünstiger zu betreiben und können vollständig angepasst werden. Diese Modelle sind für Unternehmen einfacher zu verwalten und zu kontrollieren“, sagte Jerrom.

„Wie Robbie zu Recht argumentiert, liegt die wahre Stärke der KI weniger in der Größe des Modells als vielmehr darin, es an die Prioritäten einer Organisation anzupassen“, sagte Ed Hoppitt, EMEA Director – Business Value Practice bei Red Hat.

Beispielsweise setzte das US-Ministerium für Veteranenangelegenheiten KI auf Red Hat OpenShift ein, um Veteranen mit Suizidgefahr zu identifizieren, indem es offene, modulare Tools verwendete, um Daten, Modelle und reale Systeme miteinander zu verknüpfen. Dies zeigt, dass man kein monolithisches Modell benötigt, um etwas zu bewirken.

„Wenn SLMs als präzise Bausteine verwendet werden und Open-Source-Frameworks Ihnen Transparenz, Flexibilität und Vertrauen bieten, können Unternehmen über Pilotprojekte hinaus zu echten, messbaren Veränderungen gelangen. Dann ist KI kein Glücksspiel mehr, sondern ein strategischer Wegbereiter“, bemerkte Hoppitt.

Das Beste aus allen Welten

Das wahre Potenzial liegt in einer agentenbasierten Umgebung mit großen Planungsmodellen, die mehrere spezialisierte SLMs koordinieren, die die einzelnen Aufgaben ausführen. Dies hat auch Vorteile für den Datenschutz und die Datensicherheit, da es die Exposition auf eine kleine Schnittstelle beschränkt. Und es kann viel kostengünstiger sein als die Verwendung eines einzigen LLM für alles.

„Sie verwenden SLMs als spezialisierte Mitarbeiter, um eine bestimmte Aufgabe zu erledigen oder eine bestimmte Frage zu beantworten, wobei sie Zugriff auf Daten benötigen, die Sie nicht öffentlich machen möchten“, erklärte Carlill. „Und das LLM übernimmt die strukturelle Problemlösung.“

Die effektive Zusammenführung großer und kleiner Modelle erfordert einen Plattformansatz. Red Hat AI wird entwickelt, um „OpenShift-Administratoren, Kubernetes-Administratoren und anderen IT-Mitarbeitern“ dabei zu helfen, KI-Modelle konsistent in Hybrid-Clouds und Rechenzentren bereitzustellen, die auf die von ihnen unterstützten Anwendungen abgestimmt sind, und ihnen bei der Skalierung zu helfen. „In der KI ist Konsistenz wichtig“, sagte Jerrom.

Die Skalierung und Optimierung von KI-Modellanwendungen sei jedoch ein Lernprozess, fuhr er fort und fügte hinzu, dass Red Hat zusätzliche Dienste anbieten könne, darunter Caching, damit ein einzelnes Modell mehrere Anwendungen gleichzeitig unterstützen kann, und in Management-Tools integrierte SLMs, um die Bereitstellung und Skalierung zu vereinfachen.

Die Bedeutung von Open Source

Bei der Betrachtung solcher vielschichtigen KI-Systeme gewinnt Open Source zunehmend an Bedeutung. Open Source trägt dazu bei, viele der mit KI verbundenen Risiken zu reduzieren, so Carlill. Dazu gehören auch rechtliche Risiken hinsichtlich der Nutzungsrechte der zum Trainieren des Modells verwendeten Datensätze.

„Durch den Einsatz eines Open-Source-Modells, dessen Herkunft Sie kennen und dessen Trainingsdaten Ihnen bekannt sind, können Sie sich vor dieser Risikoquelle schützen.“

Carlill fasste zusammen: „Open Source ist definitiv der Weg in die Zukunft und hat seinen Wert bereits in der Praxis unter Beweis gestellt.“

Benchmarks von LLMs auf Basis von Open Source gibt es im Open LLM Leaderboard von Huggingface.

Dieser Beitrag erschien ursprünglich auf unserer Schwester-Website Computing.