[Aktuelles] Kurzbericht zum Auftakt der Reihe ‘KI in Anwendung’ (HSE und HCDH) mit Dr. Sarah Schwettmann
Der Workshop „Fortgeschrittener KI-Einsatz in der Hochschullehre“ fand am vergangenen Freitag, dem 24.11.2023 im Gebäude des Heidelberg Center for Transcultural Studies (HCTS) statt. Die Veranstaltung war der Auftakt zur Veranstaltungsreihe ‘KI in Anwendung’, die von der Heidelberg School of Education (Dr. Thomas Renkert) und dem Heidelberg Center for Digital Humanities (Dr. Florian Nieser) gemeinsam organisiert wird. Hierbei wird das Ziel verfolgt, Wissenschaftler:innen der Universität Heidelberg mit dem Konzept und der Funktionsweise unterschiedlicher neuronaler Netzwerke sowie mit deren Potential in Forschung und Lehre vertraut zu machen. Für den Workshop wurde Dr. Sarah Schwettmann (Massachusetts Institute of Technology/Berkman Klein Center, Harvard) eingeladen, die als Expertin im Bereich visueller KI und sprachverarbeitender neuronaler Netzwerke – einen vertiefenden Einstieg in die Materie ermöglichte, um die künftige Einbindung technologischer Hilfsmittel in der Hochschulpraxis voranzubringen.
Generative KI führte in den letzten Jahren gerade in den Bildungssystemen weltweit zu größeren Herausforderungen. Sowohl das Potential Wissensvermittlung individualisiert zu unterstützen als auch die Gefahr Falschinformation und Missbrauch über neuronale Netzwertechnologie zu verbreiten, bedingt den notwendigen Diskurs um einen produktiven und porzessorientierten Umgang mit Sprachmodellen.
Sprachmodelle funktionieren schematisch auf der Basis von Trainsingssets (ground truth), Parametern für das Training und dem errechneten Ausgabetext. Für das Training neuronaler Netzwerke werden große Datenmengen benötigt, die in einem »Try and Error« Prinzip so angepasst werden, dass die Wahrscheinlichkeit eines richtigen Ergebnisses zur Genererierung mesnchlich nachvollziehbarer und möglihcst sinnvoller Texte signifikant zunimmt. Für die Datensets werden entweder menschlich generierte Daten oder synthetische verwendet. Synthetische Datenmengen definieren sich über ihre Herkunft als durch KI-Modelle selbst erzeugte Daten; das heißt, dass z.B. dem Sprachmodell der Auftrag erteilt wird weitere Texte im Stile Shakespeares zu produzieren, die dann wiederum als Trainingsdaten für weitere Sprachmodelle verwendet werden.
In den vergangenen fünf Jahren haben sich die GPT-Chatbotsysteme deutlich verbessert; so ist z.B. der Wortschatz seit 2018 von einer Milliarde auf etwa 100 Milliarden Wörtern angestiegen (im Vergleich besitzt ein zweijähriges Kind einen Wortschatz von etwa 15 Millionen Wörtern). Neben dem grundlegenden Verständnis, wie Chat GPT aus dem Eingabetext eine sinnvolle Antwort produziert, ist es ebenso wichtig nachvollziehen zu können, wie das Sprachmodell einen schlüssigen Text formuliert. Das gängige Prinzip besteht darin aus den letzten 4000 Wörtern zu berechnen, welches Wort am wahrscheinlichsten grammatikalisch und inhaltlich an nächster Stelle stehen soll. Hierbei wird ein sogenannter »Transformer« verwendet, der als spezialisiertes neuronales Netzwerk fungiert, um die korrekten Daten im Lernprozess spezifisch einzuspeisen.
Den prinzipiellen Ablauf eines »Large Language Modells« (bspw. als Grundlage für das Chatbotsystem GPT) kann in seinem Aufbau als Schichtung verschiedener »Layers« verstanden werden. Zunächst werden die Daten gesammelt (»Data Layer«), um anschließend weiter trainiert und für bestimmte Anwendungszwecke spezifiziert zu werden (»Foundation Model Developer Layer«). Anschließend kann auf das Programm zugegriffen (»Host Layer«) und von den Nutzenden verwendet werden. Zentral für die Anwendung im Alltag ist die »Application Layer« als Anwendungsfläche für generelle »Application User«, in der die jeweils angepasste und weiterentwickelte Version des ursprünglichen Large Language Models über ein Chatborsystem verwendet werden kann. Problematisch erscheinen die verschiedenen Ebenen der Transparenz von AI Modellen. Gerade größere Stakeholde sind deutlich weniger transparent beim Sammeln und Auswerten von großen Datenmengen und der Zugänglichkeit zu diesen Daten. Ebenso ist oftmals wenig über die Arbeitsgruppen und deren jeweiligen Agenden bekannt, die jeweils an der Erstellung und Distribution der Chatbotsysteme mitwirken.
Welche Möglichkeiten ergeben sich aus der Anwendung von Sprachmodellen für zukünftige wissenschaftliche Projekte oder die Lehre?
Sarah Schwettmann stellte den ‘Rubberduck’ als eine hochschulspezifische Anwendung in Harvard vor. Hinter der Bezeichnung ‘Harvard CS150’ steht ein spezifisches Sprachmodell, das zur Anwendung für Studierende der Computer Sciences trainiert wurde und bei Lehrfragen und Aufgabenstellungen Hilfestellungen anbietet. Bisher wird es von 49.000 Nutzer:innen verwendet und hat bisher um die 1.3 Millionen Fragen beantwortet. Relevant bei diesem Hilfswerkzeug ist ein Proxy, der als Filter der Anfragen an das neuronale Netzwerk und dessen Output fungiert. Es handelt sich dabei u.a. um einen »system prompt« in Richtung Chat GPT4, der die Anweisung enthält, Studierenden nur Hilfestellungen auf Fragen der Computer Sciences zu geben, aber keine Komplettlösungen zu ihren Aufgabestellungen anzubieten, um die akademische Anwendbarkeit und Zielsetzung als Seminartutorin zu gewährleisten. Solche dazwischengeschaltete Ebenen haben den klaren Vorteil, dass eine gewisse Kontrolle durch die Anbieter in der Freigabe von Daten ausgeübt werden kann. Diese sogenannten »Teaching Assistants« werden bereits eingesetzt und können in Zukunft Studierende in ihren Lehr- und Forschungsfragen unterstützen.
Zukünftige Entwicklungen werden vor allem multimodale Systeme integrieren, die den Vorteil mit sich bringen, dass Daten auch in anderer Form als Text eingespeist werden können (z.B. Screenshots). In Kombination mit selbstlernenden Agentensystemen können komplexere Anfragen und Anwendungen aufgesetzt und erreicht werden. Hierbei können z.B. Aufgaben konkret geplant, in den Kalender übertragen werden oder die Lernfortschritte der Studierenden festgehalten und in zukünftige Planung eingebunden werden. Nutzerinnenorientierte Modelle machen es möglich spezifizierte Sprachmodelle zu erstellen, die auf die jeweiligen Wünsche und Funktionen zugeschnitten sind. Im Laufe des Workshop zeichnete sich ab, dass Universitäten in Zukunft auf Sprachmodelle nicht verzichten können, wenn weiterhin das Ziel besteht, Daten effektiv auszuwerten und nutzbar zu machen oder aber in der Hochschullehre auf eben diese in Eigenregie angepassten Custom-Modelle als individuelle Lehr und Lenstütze zurückzugreifen.
Der anschließende Diskurs zu dem Workshop zeigte zum einen die generelle Sorge, ob die erzeugten Daten in ihrer Qualität abnehmen werden, sofern weiter rein mit synthetischen Daten zukünftige Modelle trainiert werden, als auch den möglichen Missbrauch dieser technologischen Entwicklung und Anwendung im universitären Raum. Zum anderen bestand ein großes Interesse an der Anwendbarkeit von KI in der Forschung. Insgesamt überzeugte der Workshop dank Sarah Schwettmann durch die Qualität und Wiedergabe komplexer Informationen und das Aufzeigen sinnvoller Anwendungen und zukünftiger Möglichkeiten wie mit Sprachmodellen an der Schnittstelle zwischen Forschung und Lehre gearbeitet werden kann, woran in den kommenden Veranstaltungen angeknüpft werden wird.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Florian Nieser (1. Dezember 2023). [Aktuelles] Kurzbericht zum Auftakt der Reihe ‘KI in Anwendung’ (HSE und HCDH) mit Dr. Sarah Schwettmann. DH in HD . Abgerufen am 8. November 2024 von https://doi.org/10.58079/pgb4