Kurzbericht zum Hackathon ‘KI und Mittelalter’

Der Hackathon zum Thema ‚Mittelalter und KI‘ fand am 05.02.24 in den Räumlichkeiten der Pädagogischen Hochschule (PH) Heidelberg und der Heidelberg School of Education (HSE) statt. Dieses Zusammenkommen einiger Expert*innen aus verschiedenen Fachbereichen wurde von dem HCDH zusammen mit dem DFG-Netzwerk „Offenes Mittelalter“ organisiert. Grundsätzlich ging es um das Vorhaben im Kontext von Künstlicher Intelligenz einen Chatbotagenten aufzusetzen, der basierend auf einem Large Language Model automatisiert von einer älteren Sprachstufe in moderne Sprache(n) übersetzen kann. Das Ziel des Treffens bestand darin, die verschiedenen Teilnehmer:innen zusammenzubringen, um zu diskutieren wie das Projektteam ein erstes LLM für die automatisierte und niedrigschwellige Übersetzung von Mittelhochdeutsch auf Neuhochdeutsch sinnvoll trainieren und einsetzen kann. Dazu wurde im Vorhinein in enger Kooperation der HSE und dem HCDH ein erstes proof of concept namens ‚ParzivAI‘ mithilfe des Open-Source LLM mixtral-instruct und erstem Finetuning mit mittelhochdeutschen Datensets erstellt. Bei dem Hackthon selbst ging es um die Erprobung des LLMs, Identifizierung der Grenzen, den grundsätzlichen Leistungsumfang und die Möglichkeit einer Erstellung einer Retrieval Augmented Generation, die dem LLM automatisiert aktuelle semantische Abfragen ermöglicht.

Hintergrund für die Entwicklung und Arbeit an diesem LLM ist ein in der Beantragungsphase befindliches größeres Forschungsvorhaben, das das Ziel verfolgt, mithilfe von LLMs die Möglichkeit zu schaffen, das Wissen des Mittelalters aus über 600 Handschriften niedrigschwellig über einen Chatbotagenten und unterschiedlichen Visualisierungsmöglichkeiten für die Schule zugänglich zu machen. Wesentlich hierfür ist die interdisziplinäre Zusammenarbeit zwischen der Informatik, Computerlinguistik, germanistischen Mediävistik, Pädagogik, etc.

Am 05.02. startete der Hackathon mit einer Einführung durch Florian Nieser vom Heidelberg Center for Digital Humanities (HCDH). Anwesend waren Forschende der Uni Hamburg, TU Darmstadt, Uni Köln, Uni Bochum und der Uni Stuttgart, aber auch aus Heidelberg von der HSE, dem Scientific Software Center (SSC), der Heidelberger Akademie der Wissenschaften und der UB Heidelberg. Viele der anwesenden Wissenschaftler:innen entstammen dem Fachbereich Mediävistik, einige kommen aus dem Bereich der Informatik oder anderen Schnittstellen der DHs.

Zunächst wurde der Weg zum eigenen LLM und die Funktionalität von ParzivAI vorgestellt. Die mhd. Texte und ihre jeweiligen Übersetzungen sollen mithilfe des LLMs zuverlässig und niedrigeschwellig sein, sodass Lerninhalte sinnvoll und korrekt in Schulen (oder anderen Bildungseinrichtungen) vermittelt werden können. Damit liegt die Basis des Vorhabens zunächst das eigens trainierte LLM auf ein Basismodel aufzusetzen, das es erlaubt, vorrangig auf deutscher Sprache als Chatbotagent zu agieren. Dieser soll Daten aus unterschiedlichen Quellen für die Anwender:innen in Dialogform zur Verfügung stellen.

Im Vorfeld des Hackathons wurde ParzivAI von Florian Nieser und Thomas Renkert (HSE) aufgesetzt, und mit einigen wenigen mittelhochdeutschen und neuhochdeutschen Datensets trainiert. Zudem wurde zum Teil bereits die Kombination und das Einzelmatching der Datensets vorgenommen und eine Knowledge Base aufgesetzt, allerdings zu dieser Zeit noch ohne funktionierende oder anwählbare Server. Eine wesentliche Herausforderung war neben der korrekten Vorgehensweise und Implementierung von Finetuning-Mechanismen vor allem der Zugang zu ausreichenden GPU- und RAM-Ressourcen.

mit Midjourney synthetisch erzeugtes Logo von ParzivAI

Die Komplexität dieses Vorhabens stößt an einigen Stellen auf Hindernisse und Fragen. Eine der Herausforderungen für das Aufsetzen von ParzivAI stellt das Aufbereiten der Daten und die Qualität der Trainingssets dar. Für die maschinenlesbaren mhd. Texte, die bei der Mittelhochdeutschen Begriffsdatenbank (MHDBDB) hinterlegt sind, liegen bspw. nur sehr wenige Übersetzungen vor, die zum Teil auch unter verschiedene Datenschutzregelungen fallen. Damit liegt eine weitere Schwierigkeit darin, zutreffende und möglichst textnahe Übersetzungen zu finden und die Lizenzen für die zukünftige Verwendung zu klären. Außerdem muss festgelegt werden, welche Trainingsmethoden und Datenformate genutzt werden, um die spezifische Aufgabe einer zuverlässigen und möglichst genauen Übersetzung zu erhalten.

Nachdem diese Ausgangssituation dargelegt wurde, ging es im Anschluss ins Plenum des Hackathons und zum Brainstorming einiger Problemstellungen in Einzelgruppen, um verschiedene Lösungsansätze für eine praktische Weiterentwicklung des LLMs zu diskutieren. Hierbei ergaben sich drei Kategorien: Was soll das LLM können und wo liegen die Grenzen? Wie können ein RAG für semantische Anfragen eingebunden werden und, welche Trainingssets und weitere Daten sollten verwendet werden, um das Tuning zu verfeinern?

Nach zwei Stunden wurden die Ergebnisse der Einzelgruppen vorgestellt. Die erste Gruppe konkretisierte die Grenzen: Es müssen zunächst weitere  Ressourcen für diese Daten identifiziert und gesammelt werden (z.B. Metadaten, Repositorien, etc.) und die eingelesen Texte sollten sich auf mhd. Überliegerungen beschränken. Das LLM sollte zudem zusätzlich zu den Übersetzungen Niveauanpassungen vornehmen und zusätzliche Informationen zur Etymologie, Intertextualität, Metaphorik und Sprachgeschichte liefern können. Wichtig ist dabei aber zugleich zu beachten, dass die Tiefe der Lemmainformationen begrenzt wird, um die Ergebnisse am Ende nicht unfokussierter werden zu lassen. Zudem muss eine Datentransparenz (Interdisziplinarität, Provenienz) gewährleistet werden, damit die Nutzer:innen am Ende die Ergebnisse verifizieren können. Außerdem soll am Ende die Möglichkeit existieren Rückfragen zu stellen in Form eines direkten Feedbackloops per Prompt. Ebenfalls notwendig ist die Kommunikation von Grenzen (also eine Aussage wie: „Dieses Wissen kann ich Ihnen nicht ohne Zweifel ausliefern, da dies außerhalb meines Nutzungsspektrums liegt“) und die Frage, wie das Thema Alterität des Mittelalters in den Output des LLMs integriert wird, bzw. von dem LLM in Hinblick auf die Texte verwendet wird.

Die zweite Gruppe widmete sich den RAGs und untersuchte eine Reihe von potenziellen Datenquellen, die als externen Daten Verwendung finden können. Dabei untersuchten die Teilnehmer:innen verschiedene Plattformen, wie die MHDBDB oder RealOnline und gingen verschiedene User Stories und spezifische Anfragen durch. Wikidata stellt sich als zu großer Datenumfang im Gesamten heraus, wodurch sich die Frage stellt, wie man die Datenmenge so filtern kann, dass sich eine kleine Datenmenge einbinden ließe. Das Application Programming Interface (API) der Ontologie der Narrative des Mittelalters (ONAMA) sowie die Gemeinsame Normdatei (GND) und das Wiktionary wären zunächst potentielle Adressen um einen Protoyp eines RAGs aufzubauen.

Die dritte Gruppe beschäftigte sich mit der Frage, welche weiteren Datensets verwendet werden könnten, um das LLM zu trainieren oder wie die bestehenden Datensets verbessert werden könnten. Hierbei wurde die Idee eines Unique Identifier (UID) für genaueres Mapping entwickelt, um Verse und/oder Sinneinheiten aus den mhd. Texten miteinander zu verbinden. Zudem könne eine kleines ‚Vokabelheft‘ für die curricular learning-Methode verwendet werden. Es stellte sich außerdem heraus, dass die Instructs neugestalten werden müssten und zwar von Text zu Text unterschiedlich damit die Zuordnung zu den Trainingsdaten besser passt. Zusätzlich sollten auch nicht normalisierte mhd. Texte integriert werden. Hieraus ergibt sich die Reihenfolge: Erst das Original, dann das normalisierte Original und daneben die Übersetzung(en) einlesen.

Der Hackathon endete in einem abschließenden Plenum, in dem die Ergebnisse diskutiert wurden und die Projektteilnehmer:innen die nächsten Arbeitsschritte durchgingen und bereits einen weiteren Hackathon Ende des Jahres in den Blick nahmen, um ParzivAI in die nächste Phase zu bringen.