Projektbeschreibung: Unterschied zwischen den Versionen

← Zum vorherigen Versionsunterschied Zum nächsten Versionsunterschied →

Version vom 14. Mai 2020, 23:35 Uhr

Projektbeschreibung

KALLIMACHOS führt Geisteswissenschaftler und Informatiker in einem regionalen Digital-Humanities-Zentrum zusammen. Der Aufbau des Zentrums wurde in zwei Förderphasen von 2014-2017 und 2017 bis 2019 durch das Bundesministerium für Bildung und Forschung im Rahmen der Fördermaßnahme e-Humanities bezuschusst. Die an der Universität Würzburg vorhandenen Kompetenzen werden durch Partner am DFKI Kaiserslautern (Förderphase I) und an der Universität Erlangen-Nürnberg (Förderphase I und II) ergänzt. Nach dem Projektende fließen die Projektergebnisse und erarbeiteten Werkzeuge und Workflows in das 2019 gegründete Zentrum für Philologie und Digitalität Kallimachos (ZPD) der Universität Würzburg ein.

Unser Aufgabenschwerpunkt liegt auf der Erarbeitung digitaler Editionen und quantitativer Analyseverfahren aus dem Bereich des Text Mining, z.B. Stilometrie, Topic Modeling und Named Entity Recognition. Wir bieten unseren Projektpartnern die nötige technische und soziale Infrastruktur, die Geisteswissenschaftler bei der Beantwortung von Forschungsfragen auf der Basis digitaler Methoden unterstützt.

Auf der technischen Seite gehören dazu die Entwicklung und Bereitstellung der benötigten Software-Komponenten und das Erarbeiten prototypischer Arbeitsabläufe, die in bereits vorhandene Infrastrukturen integriert werden. Dabei ist uns gerade auch die langfristige Verfügbarkeit, Pflege und Archivierung der Projekte, Portale und Forschungsdaten ein wichtiges Anliegen. Insofern baut KALLIMACHOS eine intergrierte Struktur für Forschungsdatenmanagement in den Geisteswissenschaften auf.

Außerdem fördern wir durch regelmäßige Workshops und Tagungen den Austausch zwischen den regionalen und überregionalen Digital-Humanities-Projekten. Durch Beratungen und Schulungen führen wir Fachleuten, aber auch weniger technikaffinen Wissenschaftlern und dem akademischen Nachwuchs die Möglichkeiten digitaler Methoden zur Bearbeitung von Forschungsfragen vor Augen und bieten methodische, technische und organisatorische Unterstützung.

[bearbeiten]

Prototypische Arbeitsabläufe zu Edition und Datenanalyse

Ausgehend von unseren Teilprojekten als Use Cases werden prototypische Abläufe zur Datenerfassung und -analyse für die Geisteswissenschaften etabliert und für das Zielpublikum verständlich dokumentiert. Im Rahmen der Entwicklung des Workflowmanagementsystems Wüsyphus II können etablierte Tools zu Arbeitsketten zusammengefügt werden. Diese sollen durch interne und öffentliche Schulungen auch einer größeren Öffentlichkeit im Bereich der Digital Humanities bekannt gemacht werden. Die ermittelten Best-Practice-Implementierungen werden in die Workflows integriert, am Beispiel der Use Cases empirisch validiert und der Forschungsgemeinschaft zur Verfügung gestellt. So wird das „Nachbauen“ mit eigenen Daten im Rahmen weiterer Projekte vereinfacht.

Nicht jedes Teilprojekt durchläuft alle Punkte der Wüsyphus-II-Workflowkette. So kann es etwa vorkommen, dass für ein Projekt bereits die nötigen Digitalisate vorliegen, womit das Einscannen der physischen Originale nicht nötig ist. Die Planung eines individuellen Projektworkflows ist aber für alle Teilprojekte obligatorisch. Die folgende Grafik zeigt, welche Arbeitsschritte der Workflowkette für unsere Use Cases von Bedeutung sind:

Einscannen der Originale

Das in der Zentralbibliothek der Universität eingerichtete Digitalisierungszentrum stellt die nötige Technik und das Fachpersonal für die Neu- und Ersterstellung von hochwertigen Digitalisaten zur Verfügung. Auch für schwierige Fälle stehen innovative Lösungen parat: So sind mit einer eigens angefertigten Buchwippe auch konservatorisch sichere Scanarbeiten an Büchern mit einem Öffnungswinkel nur 60° möglich und für die Digitalisierung großformatiger Poster steht eine spezielle Unterdruck-Saugwand zur Verfügung.

Metadateneditor

Der bereits existierende Metadateneneditor des Digitalisierungszentrums ermöglicht die zentrale Pflege umfassender vordefinierter Metadatensätze für Handschriften, Inkunabeln, Drucke und Grafiken. Verbesserungen der Web-Performance und der Benutzerführung sind für kommende Erweiterungen des Metadateneditors in WüSyphusII geplant. Auch die Aufnahme weiterer Datentypen, z.B. für Artefakte und andere Realia, ist vorgesehen.

OCR-Modul

Darstellung des OCR-Prozesses: Links die Originalscans als Graustufenbild, rechts der e-Text — OCR von Scanseiten einer lateinischen Ausgabe des Narrenschiffs.

Das OCR-Modul stellt eine automatisierte Vorverarbeitung für die Volltexterstellung zur Verfügung. Hierzu entwickeln zwei Arbeitsgruppen am Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und an der Universität Würzburg bestehende Tools und Software-Bausteine weiter, um auch solche Texte erschließen zu können, für die bislang keine qualitativ hochwertigen OCR-Lösungen vorliegen. Im Zentrum dieser Arbeiten steht der Use-Case Narragonien.

anyOCR: ein lernendes Zeichenerkennungssystem

Das DFKI prägte den Begriff anyOCR für eine adaptierbare optische Texterkennungs-Methode, die sich – im Gegensatz zu etablierten (auf Zeichensegmenten basierenden und segmentierungsfreien) OCR-Systemen – automatisch an unterschiedliche Anforderungen und die spezifischen Probleme der Schrifterkennung auf historischen Dokumenten anpassen kann. Traditionelle segmentierungsfreie, auf Sequenzlernen basierende OCR-Ansätze konnten bereits erfolgreich auf handschriftliche, in unterschiedlicher Weise gedruckte, sowie historische Dokumente angewendet werden, um komplette Textzeilen auf einmal und mit höherer Erkennungsrate erkennen, als traditionelle segmentierungsbasierte Zeichenerkennungsverfahren. Um bei diesen Verfahren jedoch zufriedenstellende Leistungen zu erhalten, wird sehr viel manuell transkribiertes Trainingsmaterial – sogenannte Ground Truth – benötigt, dessen Erzeugung zeitaufwändig und somit teuer ist. Die Option der synthetischen Generierung von Trainingsdaten entzieht sich der Domäne historischer Dokumente überdies, da keine repräsentativen Texte verfügbar sind.

Modellhafte Darstellung des Trainingsprozesses im anyOCR-Ansatz — OCRoRACT-anyOCR Training Pipeline

Um dem Problem fehlender Ground Truth-Daten zum Training des Sequenzlernens zu begegnen, hat das DFKI das auf der anyOCR-Methode basierende Framework OCRoRACT entwickelt. Hierbei wird zunächst ein konventionelles, auf Zeichensegmenten basierendes OCR-Verfahren bzw. dessen Erkennungsergebnis eingesetzt, um ein initiales OCR-Modell unter Verwendung einzelner erkannter Symbole zu trainieren. Diese (im Gegensatz zur Ground Truth) möglicherweise fehlerbehafteten Textzeilen werden dann, wie die sonst manuell erzeugte Ground Truth, zum Trainieren des Sequenzlernens verwendet. Durch die systemimmanente Einbeziehung von Kontextinformationen erlernt das System die weitgehende Korrektur etwaiger Fehler in dieser Pseudo-Ground Truth. Ein auf diese Weise auf historischen Dokumenten trainiertes OCRoRACT-System lieferte bereits gute Erkennungsergebnisse trotz des zwangsweisen Verzichts auf die üblicherweise notwendigen Wörterbücher.

Synoptischer Editor

Ansicht des Transkriptionseditors. Links ist der Originalscan, rechts der bearbeitete Transkriptionstext. In einem aufgerufenen Fenster können verschiedene historische Glyphen ausgewählt werden, die auf einer heutigen Computertastatur nicht zu finden sind — Der für das Teilprojekt Narragonien entwickelte synoptische Editor zur vereinfachten Korrektur von OCR-Transkriptionen.

Das Modul bietet ein Framework für Online-Editoren, in denen Texte und Bilder nebeneinander angezeigt, annotiert und über Bild-Text-Links verknüpft werden können. Die Editoren können dabei auf die Anforderungen der jeweiligen Projekte zugeschnitten werden. So wird ein intuitives Web-Editionswerkzeug geschaffen, das auch ohne tiefgreifende Kenntnisse von Textkodierung und XML-Formaten eine manuelle Nachkorrektur von OCR-Resultaten ermöglicht. Damit wird, in Verbindung mit der Benutzerrechteverwaltung und der Redaktionsinfrastruktur des WÜsyphus II-Workflowsystems, die Einbeziehung von Hilfskräften, Seminarteilnehmern und sogar interessierten "Laien" in Editionsprojekte möglich gemacht.

Datenexport und Web-Portale

Die annotierten Texte, Bilder und weitere Datentypen werden je nach Projektanforderung in eine Vielzahl gängiger Export- und Austauschformate überführbar sein. So wird z.B. über TEI-konforme XML-Kodierungen auch der Datenaustausch mit dem TextGrid-Repository ermöglicht. Neben den Exportformaten werden für die Projektportale auch individuelle Anzeigelösungen angeboten: Insbesondere das vorgestellte Framework für synoptische Editoren kann auch zur Erstellung eines synoptischen Viewers für die Web-Präsentation der Teilprojekte genutzt werden. So können etwa die zugrundeliegenden Scans eines Texts, der OCR-Text oder Transkriptionen, Übersetzungen, Annotationen und Metadaten parallel angezeigt oder ausgeblendet werden.

Semantic MediaWiki

Auf der Basis von Semantic MediaWiki, einer Open-Source-Erweiterung des von Portalen wie Wikipedia bekannten Wiki-Systems, wird eine einfach benutzbare und schnell anpassbare Web-3.0-Komponente zur Bearbeitung, Strukturierung und Präsentation der erfassten Daten zur Verfügung gestellt. Dank Benutzerrechteverwaltung und der automatischen Versionierung von Änderungen ist SMW insbesondere auch für die Implementierung von Crowdsourcing-Verfahren geeignet. Für die Übernahme der Daten aus der Wiki-Umgebung nach WüySyphus II werden Schnittstellen und Importroutinen entwickelt. Für weniger komplexe Projekte kann SMW auch direkt als Anzeigeportal weiterverwendet werden. Die bereits mitgelieferten Such- und Abfragemöglichkeiten des Systems eignen sich insbesondere auch für die Umsetzung von Datenbankprojekten.

Textanalyse-Schnittstelle

Dieses Modul unterstützt, aufbauend auf den Textanalyse-Use-Cases:

die Zusammenstellung eines Korpus zu analysierender Texte aus dem TextGrid-Repository bzw. WÜsyphus u.a. anhand ihrer Metadaten,

die Aufbereitung der gewählten Texte mit ihren Metadaten für ihre Analyse mit UIMA,

die Durchführung der Analyse und schließlich

eine Einbindung der Analyseergebnisse in TextGrid, etwa durch die Rückübertragung von Annotationen durch UIMA nach TEI.

Diese Teilschritte können, ggf. in angepasster Form, auch allgemeiner von anderen Projekten nachgenutzt werden. So sollen langfristig auch Neulinge und "Laien" im Bereich Datenanalyse von den Vorteilen der automatischen Analyseverfahren profitieren, etwa wenn es um die Erkennung grammatischer Fälle oder von Eigennamen in einem Text geht. Als Austauschformat zwischen den Textanalyse-Modulen und WüSyphus II ist das CoNLL-Format vorgesehen.

Versionierung und Archivierung

Ein entscheidendes und oft vernachlässigtes Kriterium für den Erfolg digitaler Projekte nicht nur in den Geisteswissenschaften ist die abschließende Sicherstellung einer langfristigen Nachvollziehbarkeit und Nachnutzbarkeit der zugrundeliegenden Datenpakete. Für "lebendige", d.h. für beständig weitergepflegte und erweiterte Datensammlungen und (Teil-)korpora ist vor allem die Gewährleistung der Datensicherheit von entscheidender Wichtigkeit. Zur Versionsverwaltung sind neben den vorgestellten Wiki-Lösungen auch Git-basierte Systeme vorgesehen.

Abschlussbericht

Den Abschlussbericht der ersten Förderphase finden sie hier.

[bearbeiten]

Ziele

Die Förderung des Projekts KALLIMACHOS II als Fortsetzung des Aufbaus eines Zentrums für digitale Edition und quantitative Analyse an der Universität Würzburg von Kallimachos I erfolgte im Rahmen der BMBF eHumanities Förderlinie 2, um Forschungsinfrastrukturen für die Geistes-und qualitativen Sozialwissenschaften unter maßgeblicher Einbeziehung der Informatik oder informatiknaher Fächer aufzubauen. Anhand mehrerer beispielhaft gewählter Untersuchungsthemen sollte die Fruchtbarkeit dieses interdisziplinären Ansatzes sichtbar gemacht und damit ein Digital Humanities-Zentrum an der Universität Würzburg dauerhaft konstituiert werden.

Die methodischen Ziele umfassen:

OCR-Optimierung (Optical Character Recognition) für alte Drucke
Information Extraction aus Freitexten
Stilometrie zur Erfassung der Komplexität verschiedener Romantypen
Quantitativen Analyse arabisch-lateinischer Übersetzungen mit OCR-Optimierung für arabische Texte, Dokumentation von bekannten Autoren und Übersetzern sowie Methoden zu deren Identifikation.

Inhalte

Die gewählten Untersuchungsthemen vereinen lokale Forschungsinteressen (Aufbau eines Narrenschiff-Korpus, Provenienz-und Gattungsbestimmung, narrative Techniken und Untergattungen, Leserlenkung in Bezug auf Figuren, Identifizierung von Übersetzern, digitale Erschließung von altgriechischen Papyri) in einer für die Digital Humanities typischen Weise mit infrastrukturell-informatorischen Werkzeugen und Abläufen (OCR-Workflow, Semantic MediaWiki, Präsentationssoftware für Editionen, Werkzeugkasten zur semantischen Korpusanalyse).

Ergebnisse

Dem interdisziplinären Ansatz entsprechend wurde ein Methodenmix aus philologischen (Transkription, Annotation, Textkritik, Edition), (computer-) linguistischen (Erkennung und Bearbeitung historischer Sprache) und technisch-informatorischen Methoden (Bilddigitalisierung, Mustererkennung mit neuronalen Netzen, Informationsextraktion) eingesetzt und weiterentwickelt.

In allen genannten Bereichen konnten wesentliche Fortschritte und Ergebnisse erreicht werden: Die OCR historischer Texte erzielt selbst bei den frühesten Drucken mit moderatem werkspezifischen Training Zeichenerkennungsraten von durchschnittlich 99,5%, was bisher als unerreichbar schien. Der OCR-Gesamtworkflow mit Vorverarbeitung und Seiten-Segmentierung wird durch das komfortable, bereits breit im Einsatz befindliche Tool OCR4all unterstützt.

Weiterhin wurden Methoden zur differenzierten Analyse von Varianzen zwischen zwei Texten mit konfigurierbarer Auszeichnung verschiedener Varianztypen und zum fehlertoleranten Alignment zwischen einer OCR-Transkription und externen Vorlagen entwickelt und u.a. erfolgreich im Teilprojekt Anagnosis zur Transkription griechischer Papyri eingesetzt. Diese Methoden erlaubten im Teilprojekt Narragonien eine umfassende Aufbereitung alter Drucke, in dem zehn Ausgaben des „Narrenschiffs“ in verschiedenen Sprachen digital erschlossen wurden, wozu außer den Metadaten und der Transkription auch ein Lesetext, ein Register mit Namen und Orten und ein TEI-Export gehören.

Auf der Ebene der semantischen Analyse wurden erfolgreich Tools zur automatischen Szenenerkennung und zur verfeinerten Figurenanalyse in Romanen (Erkennung von Entitäten, deren Zusammengehörigkeiten, deren Relations-und Sentimenterkennung) entwickelt und evaluiert. Bezüglich des Stils von Romanen wurden neue Komplexitätsmaße entwickelt und zur Analyse der stilometrischen Unterschiede zwischen Hochliteratur und Schemaliteratur verwendet, wobei letztere wegenihrer größeren Binnenvarianz noch weiter in Subgenres wie Science-Fiction, Horror-, Kriminal-und Liebesromane unterteilt wird. So konnte quantitativ gezeigt werden, dass Hochliteratur nicht pauschal eine höhere Komplexität als Schemaliteratur hat, sondern diese bezüglich der Subgenres und der Komplexitätsmaße erheblich variiert. Die stilometrischen Analyse-Methoden stehen in einer quelloffenen Python Toolbox der Öffentlichkeit zur Verfügung.

Auch bei der quantitativen Analyse arabisch-lateinischer Übersetzungen wurden sowohl methodische Fortschritte durch Anpassung der OCR zur Transkription sowie der stilometrischen Analysen als auch inhaltlichen Ergebnisse bezüglich der Identifikation von Übersetzern erzielt.

Nachnutzung und Verstetigung

Die fruchtbare Zusammenarbeit zwischen Geisteswissenschaftlern und Informatikern wurde in dem neuen interdisziplinären „Zentrum für Philologie und Digitalität Kallimachos“ (ZPD) der Universität Würzburg verstetigt, für die auch ein Neubau bewilligt ist (geplante Fertigstellung 2023).

Das OCR-Workflow-Tool OCR4all schließt eine Lücke bei der Transkription alter Drucke, indem es die besten OCR-Methoden mit einem komfortablen Workflow mit Geisteswissenschaftlern als Zielgruppe kombiniert und hat auch außerhalb des Projektes bereits eine breite Akzeptanz für die Transkription alter Drucke gefunden. Es steht einschließlich Dokumentation und einführenden Tutorials auf der ZPD-Homepage der Allgemeinheit zur Verfügung.

Die neuartige stilometrische Toolbox zur Romananalyse wird ist ebenfalls frei auf Github zugänglich.

Das umfangreiche Narragonien-Textkorpus mit zehn digital erschlossenen europäischen Narrenschiff-Ausgaben vor 1500 wird in seiner finalen Version Ende 2020 veröffentlicht.

[bearbeiten]