Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

[Aktuelles] Kurzbericht zum Auftakt der Reihe ‘KI in Anwendung’ (HSE und HCDH) mit Dr. Sarah Schwettmann

  • KI in Anwendung Titelbild
  • 2023-11-24 10.17.47
  • 2023-11-24 10.20.58
  • 2023-11-24 10.23.11
  • 2023-11-24 10.38.01
  • 2023-11-24 12.38.18
  • 2023-11-24 12.44.43
  • 2023-11-24 12.50.32
  • 2023-11-24 14.19.37-1

Der Workshop „Fortgeschrittener KI-Einsatz in der Hochschullehre“ fand am vergangenen Freitag, dem 24.11.2023 im Gebäude des Heidelberg Center for Transcultural Studies (HCTS) statt. Die Veranstaltung war der Auftakt zur Veranstaltungsreihe ‘KI in Anwendung’, die von der Heidelberg School of Education (Dr. Thomas Renkert) und dem Heidelberg Center for Digital Humanities (Dr. Florian Nieser) gemeinsam organisiert wird. Hierbei wird das Ziel verfolgt, Wissenschaftler:innen der Universität Heidelberg mit dem Konzept und der Funktionsweise unterschiedlicher neuronaler Netzwerke sowie mit deren Potential in Forschung und Lehre vertraut zu machen. Für den Workshop wurde Dr. Sarah Schwettmann (Massachusetts Institute of Technology/Berkman Klein Center, Harvard) eingeladen, die als Expertin im Bereich visueller KI und sprachverarbeitender neuronaler Netzwerke – einen vertiefenden Einstieg in die Materie ermöglichte, um die künftige Einbindung technologischer Hilfsmittel in der Hochschulpraxis voranzubringen.

Generative KI führte in den letzten Jahren gerade in den Bildungssystemen weltweit zu größeren Herausforderungen. Sowohl das Potential Wissensvermittlung individualisiert zu unterstützen als auch die Gefahr Falschinformation und Missbrauch über neuronale Netzwertechnologie zu verbreiten, bedingt den notwendigen Diskurs um einen produktiven und porzessorientierten Umgang mit Sprachmodellen.

Sprachmodelle funktionieren schematisch auf der Basis von Trainsingssets (ground truth), Parametern für das Training und dem errechneten Ausgabetext. Für das Training neuronaler Netzwerke werden große Datenmengen benötigt, die in einem »Try and Error« Prinzip so angepasst werden, dass die Wahrscheinlichkeit eines richtigen Ergebnisses zur Genererierung mesnchlich nachvollziehbarer und möglihcst sinnvoller Texte signifikant zunimmt. Für die Datensets werden entweder menschlich generierte Daten oder synthetische verwendet. Synthetische Datenmengen definieren sich über ihre Herkunft als durch KI-Modelle selbst erzeugte Daten; das heißt, dass z.B. dem Sprachmodell der Auftrag erteilt wird weitere Texte im Stile Shakespeares zu produzieren, die dann wiederum als Trainingsdaten für weitere Sprachmodelle verwendet werden.

In den vergangenen fünf Jahren haben sich die GPT-Chatbotsysteme deutlich verbessert; so ist z.B. der Wortschatz seit 2018 von einer Milliarde auf etwa 100 Milliarden Wörtern angestiegen (im Vergleich besitzt ein zweijähriges Kind einen Wortschatz von etwa 15 Millionen Wörtern). Neben dem grundlegenden Verständnis, wie Chat GPT aus dem Eingabetext eine sinnvolle Antwort produziert, ist es ebenso wichtig nachvollziehen zu können, wie das Sprachmodell einen schlüssigen Text formuliert. Das gängige Prinzip besteht darin aus den letzten 4000 Wörtern zu berechnen, welches Wort am wahrscheinlichsten grammatikalisch und inhaltlich an nächster Stelle stehen soll. Hierbei wird ein sogenannter »Transformer« verwendet, der als spezialisiertes neuronales Netzwerk fungiert, um die korrekten Daten im Lernprozess spezifisch einzuspeisen.

Den prinzipiellen Ablauf eines »Large Language Modells« (bspw. als Grundlage für das Chatbotsystem GPT) kann in seinem Aufbau als Schichtung verschiedener »Layers« verstanden werden. Zunächst werden die Daten gesammelt (»Data Layer«), um anschließend weiter trainiert und für bestimmte Anwendungszwecke spezifiziert zu werden (»Foundation Model Developer Layer«). Anschließend kann auf das Programm zugegriffen (»Host Layer«) und von den Nutzenden verwendet werden. Zentral für die Anwendung im Alltag ist die »Application Layer« als Anwendungsfläche für generelle »Application User«, in der die jeweils angepasste und weiterentwickelte Version des ursprünglichen Large Language Models über ein Chatborsystem verwendet werden kann. Problematisch erscheinen die verschiedenen Ebenen der Transparenz von AI Modellen. Gerade größere Stakeholde sind deutlich weniger transparent beim Sammeln und Auswerten von großen Datenmengen und der Zugänglichkeit zu diesen Daten. Ebenso ist oftmals wenig über die Arbeitsgruppen und deren jeweiligen Agenden bekannt, die jeweils an der Erstellung und Distribution der Chatbotsysteme mitwirken.

Welche Möglichkeiten ergeben sich aus der Anwendung von Sprachmodellen für zukünftige wissenschaftliche Projekte oder die Lehre?

Sarah Schwettmann stellte den ‘Rubberduck’ als eine hochschulspezifische Anwendung in Harvard vor. Hinter der Bezeichnung ‘Harvard CS150’ steht ein spezifisches Sprachmodell, das zur Anwendung für Studierende der Computer Sciences trainiert wurde und bei Lehrfragen und Aufgabenstellungen Hilfestellungen anbietet. Bisher wird es von 49.000 Nutzer:innen verwendet und hat bisher um die 1.3 Millionen Fragen beantwortet. Relevant bei diesem Hilfswerkzeug ist ein Proxy, der als Filter der Anfragen an das neuronale Netzwerk und dessen Output fungiert. Es handelt sich dabei u.a. um einen »system prompt« in Richtung Chat GPT4, der die Anweisung enthält, Studierenden nur Hilfestellungen auf Fragen der Computer Sciences zu geben, aber keine Komplettlösungen zu ihren Aufgabestellungen anzubieten, um die akademische Anwendbarkeit und Zielsetzung als Seminartutorin zu gewährleisten. Solche dazwischengeschaltete Ebenen haben den klaren Vorteil, dass eine gewisse Kontrolle durch die Anbieter in der Freigabe von Daten ausgeübt werden kann. Diese sogenannten »Teaching Assistants« werden bereits eingesetzt und können in Zukunft Studierende in ihren Lehr- und Forschungsfragen unterstützen.

Zukünftige Entwicklungen werden vor allem multimodale Systeme integrieren, die den Vorteil mit sich bringen, dass Daten auch in anderer Form als Text eingespeist werden können (z.B. Screenshots). In Kombination mit selbstlernenden Agentensystemen können komplexere Anfragen und Anwendungen aufgesetzt und erreicht werden. Hierbei können z.B. Aufgaben konkret geplant, in den Kalender übertragen werden oder die Lernfortschritte der Studierenden festgehalten und in zukünftige Planung eingebunden werden. Nutzerinnenorientierte Modelle machen es möglich spezifizierte Sprachmodelle zu erstellen, die auf die jeweiligen Wünsche und Funktionen zugeschnitten sind. Im Laufe des Workshop zeichnete sich ab, dass Universitäten in Zukunft auf Sprachmodelle nicht verzichten können, wenn weiterhin das Ziel besteht, Daten effektiv auszuwerten und nutzbar zu machen oder aber in der Hochschullehre auf eben diese in Eigenregie angepassten Custom-Modelle als individuelle Lehr und Lenstütze zurückzugreifen.

Der anschließende Diskurs zu dem Workshop zeigte zum einen die generelle Sorge, ob die erzeugten Daten in ihrer Qualität abnehmen werden, sofern weiter rein mit synthetischen Daten zukünftige Modelle trainiert werden, als auch den möglichen Missbrauch dieser technologischen Entwicklung und Anwendung im universitären Raum. Zum anderen bestand ein großes Interesse an der Anwendbarkeit von KI in der Forschung. Insgesamt überzeugte der Workshop dank Sarah Schwettmann durch die Qualität und Wiedergabe komplexer Informationen und das Aufzeigen sinnvoller Anwendungen und zukünftiger Möglichkeiten wie mit Sprachmodellen an der Schnittstelle zwischen Forschung und Lehre gearbeitet werden kann, woran in den kommenden Veranstaltungen angeknüpft werden wird.

— English version below —

The workshop “Advanced Use of AI in Higher Education” took place Friday, November 24, 2023, in the building of the Heidelberg Center for Transcultural Studies (HCTS). The event was the kickoff for the event series “AI in Application,” jointly organized by the Heidelberg School of Education (Dr. Thomas Renkert) and the Heidelberg Center for Digital Humanities (Dr. Florian Nieser). The goal is to familiarize researchers at Heidelberg University with the concept and functionality of various neural networks, as well as their potential in research and teaching. Dr. Sarah Schwettmann (Massachusetts Institute of Technology/Berkman Klein Center, Harvard) was invited to the workshop. As an expert in the field of visual AI and language-processing neural networks, she provided an in-depth introduction to the subject to advance the future integration of technological tools in higher education practice.

In recent years, generative AI has led to major challenges, especially in education systems worldwide. Both the potential to support individualized knowledge transfer and the danger of spreading misinformation and misuse through neural network technology necessitate a discourse on a productive and process-oriented approach to language models.

Language models function schematically based on training sets (ground truth), parameters for training, and the calculated output text. Training neural networks requires large amounts of data, which are adjusted in a “trial and error” process to significantly increase the probability of a correct result for generating humanly comprehensible and meaningful texts. Either human-generated or synthetic data is used for the datasets. Synthetic datasets are defined by their origin as data generated by AI models themselves; that is, for example, the language model is instructed to produce more texts in the style of Shakespeare, which are then in turn used as training data for other language models.

Over the past five years, GPT chatbot systems have improved significantly; for example, the vocabulary has grown from one billion to about 100 billion words since 2018 (in comparison, a two-year-old child has a vocabulary of about 15 million words). Besides a basic understanding of how ChatGPT produces a meaningful response from the input text, it is also important to understand how the language model formulates a coherent text. The common principle is to calculate from the last 4000 words which word is most likely to come next grammatically and contextually. A so-called “transformer” is used for this, which functions as a specialized neural network to specifically feed the correct data into the learning process.

The basic structure of a “Large Language Model” (e.g., as the basis for the GPT chatbot system) can be understood as a stratification of different “layers.” First, data is collected (“Data Layer”), then it is further trained and specified for certain applications (“Foundation Model Developer Layer”). Afterward, the program can be accessed (“Host Layer”) and used by users. Central to everyday use is the “Application Layer” as the application interface for general “Application Users,” where the adapted and further developed version of the original Large Language Model can be used via a chatbot system. The different levels of transparency of AI models appear problematic. Larger stakeholders, in particular, are significantly less transparent in the collection and evaluation of large amounts of data and in the accessibility of this data. Likewise, little is often known about the working groups and their respective agendas involved in the creation and distribution of the chatbot systems.

What opportunities arise from the application of language models for future scientific projects or teaching?

Sarah Schwettmann presented the “Rubberduck” as a university-specific application at Harvard. Behind the name “Harvard CS150” is a specific language model trained for use by computer science students, offering assistance with course questions and assignments. It has been used by 49,000 users to date and has answered about 1.3 million questions so far. A relevant feature of this tool is a proxy that acts as a filter for the requests to the neural network and its output. This includes, among other things, a “system prompt” directed at ChatGPT-4, which contains the instruction to only give students help with computer science questions but not to offer complete solutions to their assignments, in order to ensure its academic applicability and purpose as a seminar tutor. Such intermediary layers have the clear advantage that a certain amount of control can be exercised by the providers in the release of data. These so-called “Teaching Assistants” are already being used and can support students with their learning and research questions in the future.

Future developments will primarily integrate multimodal systems, which have the advantage that data can also be fed in forms other than text (e.g., screenshots). In combination with self-learning agent systems, more complex queries and applications can be set up and achieved. Here, for example, tasks can be specifically planned and transferred to the calendar, or students’ learning progress can be recorded and integrated into future planning. User-oriented models make it possible to create specified language models that are tailored to the respective wishes and functions. During the workshop, it became clear that universities will not be able to do without language models in the future if the goal is to continue to effectively evaluate and utilize data, or to fall back on these self-adapted custom models in higher education as individual teaching and learning support.

The subsequent discussion of the workshop showed, on the one hand, the general concern about whether the quality of the generated data will decrease if future models continue to be trained purely with synthetic data, as well as the possible misuse of this technological development and application in the university context. On the other hand, there was great interest in the applicability of AI in research. Overall, thanks to Sarah Schwettmann, the workshop was convincing due to the quality and presentation of complex information and the demonstration of meaningful applications and future possibilities of how language models can be worked with at the interface between research and teaching, which will be followed up on in the upcoming events.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Florian Nieser (1. Dezember 2023). [Aktuelles] Kurzbericht zum Auftakt der Reihe ‘KI in Anwendung’ (HSE und HCDH) mit Dr. Sarah Schwettmann. DH in HD . Abgerufen am 19. Februar 2026 von https://doi.org/10.58079/pgb4


Das könnte dich auch interessieren …