Από τους αρχαίους Έλληνες στο κέντρο υπολογιστών

Wie man KI lehrt, die Geschichte zu entschlüsseln

Seit mehr als einem Jahrhundert arbeiten Wissenschaftlerinnen und Wissenschaftler daran, Millionen erhaltener antiker Dokumente zu entschlüsseln. Beim derzeitigen Tempo würde es jedoch Jahrtausende dauern, den Rückstand aufzuholen. Es braucht neue Methoden – und KI könnte dabei eine entscheidende Rolle spielen.

Für Historikerinnen und Historiker wäre der potenzielle Erkenntnisgewinn enorm: ein klareres Bild der antiken Welt auf Grundlage ihrer eigenen Aufzeichnungen. Doch diese Quellen sind sprachlich so weit von der Gegenwart entfernt, dass bereits ihre Lektüre hoch spezialisiertes Fachwissen erfordert.

Erschwerend kommt hinzu, dass jahrtausendealte Sprachformen wie Griechisch und Ägyptisch häufig nur in beschädigten oder unvollständigen Quellen erhalten sind – auf Stein, Papyrus, Tontafeln oder sogar Holz. Ihre Interpretation ist selbst für Fachleute aufwendig, zumal oft unklar ist, wie viel Text überhaupt fehlt.

Die Fortschritte sind entsprechend langsam: In den vergangenen 140 Jahren wurden im Durchschnitt weniger als 500 griechische Papyri pro Jahr veröffentlicht. Angesichts der enormen Materialmenge – allein mehr als eine Million griechischer Papyri – bleibt ein beträchtlicher Rückstand. Ein spezialisiertes KI-Modell könnte helfen, dieses Problem zu bearbeiten.

„Der menschliche Verstand ist kreativ, flexibel und präzise“, sagt Dr. Anna Dolganov von der Österreichischen Akademie der Wissenschaften, „aber er ist nicht in der Lage, Hunderttausende beschädigter antiker Dokumente in großem Maßstab zu transkribieren.“

Dolganov beschreibt die Herausforderung als „überwältigend“, auch wenn das Fachgebiet bei der Digitalisierung bereits „sehr fortschrittlich“ sei.

„Je weiter sich die Technologie entwickelt hat, desto mehr haben sich die Epigraphik und die Papyrologie nach neuen Methoden umgesehen, um den Prozess der Erschließung all dieses dokumentarischen Materials zu beschleunigen.“

Trotz dieser Ambitionen fällt es den Geisteswissenschaften schwer, das Interesse großer Technologieunternehmen zu wecken und tragfähige Kooperationen aufzubauen. Hilfreich sind daher Netzwerke mit Forschenden, die interdisziplinär arbeiten und vergleichbare Interessen verfolgen.

Dimitris Vlitas ist Partner bei Sail Reply, einem Teil des italienischen IT-Beratungsunternehmens Reply, das exklusiv mit dem französischen Unternehmen Mistral AI zusammenarbeitet. Über ihren gemeinsamen Hintergrund in den Klassischen Philologien kamen er und Dolganov ins Gespräch, beschrieben das Problem und begannen, über eine mögliche Lösung nachzudenken.

„Mir wurde klar, dass wir LLMs für moderne Sprachen bereits beherrschen – warum also nicht auch für alte Sprachen?“, sagt Dimitris. „Für mich war das ein Kinderspiel.“

Die Vergangenheit entschlüsseln, ohne die Daten preiszugeben

Beim derzeitigen Tempo würde es rund zwei Jahrtausende dauern, die vorhandenen Papyri zu transkribieren und zu übersetzen – und das gilt nur für die griechischen Texte sowie ausschließlich für die bislang entdeckten Fragmente.

Aus einem Mittagessen entwickelte sich schließlich das Projekt „Decoding Antiquity“ und eine KI namens Apollo: ein System, das Altgriechisch nicht nur entziffern, sondern auch Lücken in beschädigten Texten füllen soll.

Dabei handelt es sich nicht um die bloße Umbenennung eines bestehenden Grundmodells. Apollo ist rein europäisch angelegt: Das geistige Eigentum liegt bei der Österreichischen Akademie der Wissenschaften, und entscheidend war, dass sämtliche Trainingsdaten intern verbleiben.

„Bei der Art und Weise, wie viele der weltweit führenden LLMs typischerweise entwickelt werden, gibt man ein gewisses Maß an Kontrolle über den gesamten Prozess ab“, sagt Dimitris. „Es geht nicht nur darum, wohin die Daten fließen, sondern auch darum, wie das Modell entwickelt und verwaltet wird. Damit sind so viele Probleme verbunden … Das mussten wir lösen.“

Mistral war das einzige KI-Unternehmen, das bereit war, nicht nur eine souveräne Lösung anzubieten, die der Akademie das Eigentum am Modell sichert, sondern auch einen tokenfreien Zugang für Experimente zu ermöglichen.

„Wir brauchten einen Industriepartner, der bereit war, echte Grundlagenforschung mit uns zu betreiben; diesen Prozess als grundlegende, nicht-kommerzielle Forschung zur Erschließung neuen Wissens zu betrachten, das dann der Forschungsgemeinschaft offenstehen würde“, erklärt Anna.

Das Datenproblem hinter dem Sprachproblem

Auch nachdem ein Partner gefunden war, „mussten wir die praktischen und logistischen Aspekte der Entwicklung lösen … sowie all die Herausforderungen, die mit der Arbeit an alten Sprachen einhergehen“, sagt Dimitris.

Eine zentrale Schwierigkeit hängt unmittelbar mit den Daten zusammen – oder genauer: mit deren Knappheit. Trotz der Dimension der Übersetzungsaufgabe ist die Zahl der bekannten Wörter aus dem Altgriechischen vergleichsweise gering: weniger als eine Milliarde, gegenüber 14 Milliarden Wörtern, mit denen LLMs für moderne Sprachen trainiert werden.

Selbst der Zugriff auf diesen vergleichsweise kleinen Datensatz erwies sich als schwierig, sagt Dolganov:

„Es gibt keine einheitliche Datenbank für [digitalisierte historische griechische Daten]. Es gibt zwar eine relativ große Datenbank, doch diese ist urheberrechtlich geschützt, und die Betreiber waren nicht bereit, sie zur Verfügung zu stellen.“

Das Apollo-Team wollte dagegen eine offene Datenbank und ein transparentes LLM aufbauen, „was für die Forschung optimal ist“. Dafür musste es auf andere Methoden zurückgreifen.

Zwischen den Zeilen lesen

Dolganov stellte gemeinsam mit einem Kollegen von der Northeastern University in Boston ein Team zusammen. Es begann damit, gescannte Bücher auszuwerten, um so viele Daten wie möglich zu sammeln – klassisches, byzantinisches und frühneuzeitliches Griechisch eingeschlossen.

„Man kann sich nicht auf die klassische Antike beschränken, dafür gibt es einfach nicht genug [Daten]“, sagt Anna.

Das bedeutete, mit griechischen Texten aus dem 8. Jahrhundert v. Chr. zu beginnen – als homerische Epen wie Die Odyssee erstmals niedergeschrieben wurden – und frühneuzeitliche Texte bis zum Jahr 1900 einzubeziehen. So entstand ein Datensatz von etwa 600 Millionen Wörtern. Er war noch immer klein, deckte aber unterschiedliche Sprachregister und Dialekte ab. Das stellte eine weitere „riesige Herausforderung“ dar, der das Team begegnete, indem es das LLM anhand eines chronologisch geordneten Lehrplans trainierte.

Zusätzlich wurde das Modell mit fehlenden Textlängen trainiert, die „bekannt, unbekannt und falsch“ waren. Dadurch sollte es robuster und flexibler werden – und auf seine schwierigste Aufgabe vorbereitet werden: das Schließen von Lücken.

„Von Anfang an wussten wir, dass man bei der tatsächlichen Arbeit an antiken Dokumenten oft mit einer Steinplatte konfrontiert ist, die an allen Seiten abgebrochen ist, sodass man nicht weiß, wie viele Buchstaben fehlen, und dennoch benötigt man das Modell, um einen plausiblen Vorschlag zu erhalten.“

Diese Knappheit prägte nicht nur den Trainingsprozess, sondern auch die Entscheidung für das Modell.

Neben LLMs, die auf Sprachgenerierung ausgelegt sind, wurde zunächst auch ein Basismodell geprüft, das sich gut für das Ausfüllen von Lücken eignete und ursprünglich für die Codegenerierung entwickelt worden war. Da es auf Fehlersuche ausgelegt war, konnte es die spezifischen Probleme fehlender Textstellen besonders präzise identifizieren. Am Ende fiel die Wahl jedoch auf ein allgemeines Sprachmodell als breitere Grundlage für ein Basis-LLM für Altgriechisch.

Das Training des LLM für diese Fähigkeit zur Lückenfüllung war nicht nur „eine echte Meisterleistung“ der Datenwissenschaftler, sondern auch für das gesamte Fachgebiet bedeutsam. Genau diese Fähigkeit macht das Modell – das nicht das erste für antike Sprachen entwickelte System ist – besonders.

Antworten auf ungestellte Fragen

Im Sinne der Offenheit ruht sich das Team nicht auf dem Erreichten aus. Geplant ist, das Modell auf weitere antike Sprachen auszuweiten – Latein und Ägyptisch stehen auf der Liste. Hinzu kommen soll eine Bildverarbeitungskomponente, damit Dokumente direkt aus Bildern heraus entschlüsselt werden können. Ein solches Vorhaben sei selbst außerhalb der Wissenschaft selten, sagt Dimitris.

„Fünfundneunzig Prozent der Organisationen haben heute, wenn sie etwas entwickeln, nicht den Mut, noch einen Schritt weiter zu gehen. Was wir mit ‚Vienna‘ geschaffen haben, war kein Assistent, sondern ein System, das tatsächlich die Arbeitsweise dieser Menschen verändert, wie sie seit hundert Jahren praktiziert wurde.“

Dolganov stimmt dem zu. Apollo „verändere die epistemischen Parameter unserer Forschung“, sagt sie.

„Es verändert nicht nur die Art und Weise, wie man Fragen beantwortet, sondern ermöglicht es einem auch, Fragen zu stellen, die man zuvor nie stellen konnte.“

Apollo ist damit kein generischer Chatbot, der lediglich in einen bestehenden Arbeitsablauf eingefügt wurde. Das System wurde für ein komplexes, eng umrissenes Problem entwickelt und mit Fachdaten trainiert. Eine der zentralen Erkenntnisse des Projekts lautet daher: KI kann vor allem dann transformativ wirken, wenn sie an den Prozess angepasst wird – und nicht umgekehrt.

Erfahren Sie im Video mehr über Apollo AI:

--

Dieser Artikel erschien ursprünglich auf unserer Schwester-Website Computing.