“We got the data – what now?”: Text Mining

Datenflut im digitalen Zeitalter – auch die Geisteswissenschaften stehen zunehmend vor der Herausforderung, riesige Datenmengen zu bewältigen. Doch wie können diese Daten sinnvoll genutzt werden, um neue Forschungsperspektiven zu eröffnen? Die neue Workshop-Reihe „We got the data – what now?“ gibt Nachwuchswissenschaftler:innen das nötige Handwerkszeug an die Hand. Der Auftakt der Reihe widmete sich dem Thema Text Mining. Jonathan Gaede und David Schatz vom HCDH führten durch den Workshop und stellten verschiedene Methoden und Tools vor, die die Analyse großer Textsammlungen ermöglichen.

Der Fokus lag dabei auf der Open-Source-Software Orange, die mit ihrem intuitiven, visuellen Programmieransatz auch Einsteiger:innen den Zugang zur Datenanalyse erleichtert. Ein anderes Tool, Voyant, ist demgegenüber als Webtool verfügbar und kann schnell für Visualisierungen genutzt werden. Anhand von Beispielen – von Heidelberger Mühlbach-Daten bis hin zu Grimms Märchen – wurden die vielfältigen Möglichkeiten der Software demonstriert.

Im Zentrum des Workshops standen vier zentrale Textmining-Verfahren:

• Preprocessing: Um Textkorpora für quantitative Analysen vorzubereiten, müssen etwa Stopwörter, also für die Untersuchung irrelevante Wörter, entfernt und flektierte Formen vereinheitlicht werden (Stemming). Zusätzlich kommen Techniken wie Tokenisierung, Lemmatization und das Entfernen von Satzzeichen zum Einsatz, um die Texte in eine einheitliche und maschinenlesbare Form zu bringen.
• Clustering: Anhand des Bag-of-Words-Prinzips und Document Embeddings können Texte automatisch in Gruppen eingeteilt und so verborgene Muster und Strukturen aufgedeckt werden. Diese Methoden ermöglichen die Gruppierung von Dokumenten auf Basis ihrer inhaltlichen Ähnlichkeiten, wodurch Themen oder semantische Zusammenhänge identifiziert werden können.
• Sentimentanalyse: Mithilfe auf Lexika basierender Methoden wie dem Vader-Algorithmus werden bestimmte Wörter negativer beziehungsweise positiver Stimmung zugeordnet. Diese Technik erlaubt es, die emotionale Tonalität von Texten zu analysieren und Trends in der Meinungsbildung oder Stimmungsentwicklung zu erkennen.
• Word Enrichment: Mit statistischen Methoden können charakteristische Wörter für eine bestimmte Gruppe von Texten herausgefunden werden. Dabei wird untersucht, welche Wörter in einer bestimmten Textgruppe überzufällig häufig vorkommen, um deren semantische Besonderheiten oder thematische Schwerpunkte zu identifizieren.

Besonders spannend war die praktische Anwendung der vorgestellten Methoden: Die Teilnehmenden hatten die Möglichkeit, eigene Textdaten mitzubringen und mit Orange zu analysieren. Die Bandbreite der Daten reichte von altfranzösischen und nepalesischen Texten über chinesische Comics bis hin zu Vereinsnamen – ein Beweis für die vielfältigen Einsatzmöglichkeiten von Textmining in den Geisteswissenschaften. Der erste Workshop der neuen Reihe hat gezeigt, dass datengetriebene Forschungsmethoden in den Geisteswissenschaften ankommen. Die nächsten Workshops befinden sich bereits in Planung, sodass wir uns auf weitere Einblicke in die Welt der digital Humanities freuen können.

–> Die Materialen, Datenbeispiele, Präsentationsfolien und Anwendungsszenarien zum Nachlesen <–

— English Version —

Flood of data in the digital age – The humanities are increasingly faced with the challenge of managing massive amounts of data. But how can this data be used to open up new research perspectives? The new workshop series “We’ve got the data – what now?” equips young researchers with the necessary tools. The first workshop in the series focused on text mining. Jonathan Gaede and David Schatz from the HCDH led the workshop and introduced different methods and tools for the analysis of large text collections.

The focus was on the open source software Orange, which makes data analysis accessible to beginners with its intuitive visual programming approach. Another tool, Voyant, is available as a web tool and can be quickly used for visualization. Examples ranging from Heidelberg Mühlbach data to Grimm’s fairy tales were used to demonstrate the diverse capabilities of the software.

The workshop focused on four key text mining techniques:

• Preprocessing: To prepare text corpora for quantitative analysis, it is necessary to remove stop words (words irrelevant to the study) and to unify inflected forms (stemming). In addition, techniques such as tokenization, lemmatization, and punctuation removal are used to bring texts into a uniform and machine-readable format.
• Clustering: Based on bag-of-words and document embeddings, text can be automatically grouped to reveal hidden patterns and structures. These methods allow documents to be grouped based on content similarity, thereby identifying themes or semantic relationships.
• Sentiment analysis: Lexicon-based methods, such as the Vader algorithm, associate words with negative or positive sentiments. This technique can be used to analyze the emotional tone of text and identify trends in opinion formation or sentiment.
• Word enrichment: Statistical methods help to identify characteristic words for a particular group of texts. The aim is to find out which words occur unexpectedly often in a certain group of texts in order to determine their semantic peculiarities or thematic focuses.

The practical application of the methods presented was particularly exciting: Participants had the opportunity to bring their own text data and analyze it with Orange. The data ranged from Old French and Nepalese texts to Chinese comics and club names – proof of the diverse applications of text mining in the humanities.

The first workshop in the new series showed that data-driven research methods are gaining ground in the humanities. The next workshops are already being planned, so we can look forward to more insights into the world of digital humanities.

–> Materials, data examples, presentation slides and application scenarios for further reading <–