Embed Size (px)
Citation preview
Digitale Analyse Graphischer Literatur
Dr. Alexander Dunst (Amerikanistik, Paderborn)
Dr. Rita Hartel (Informatik, Paderborn)
Dr. Sven Hohenstein (Kognitionswissenschaft, Potsdam)
Dr. Jochen Laubrock (Kognitionswissenschaft, Potsdam)
DHd-Jahrestagung 2015
Karl-Franzens-Universität Graz
27. 2. 2015
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
2
Graphische Literatur
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
I. Zentrale Fragestellungen und Methoden
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
4
Zentrale Fragestellungen
Zusammenspiel von Text und Bild im multimodalen Medium
•Leserseitige Konstruktion komplexer Erzählungen
Beschreibung spezifischer Narrativität graphischer Literatur
•literarische, quasi-filmische Erzähltechniken
Systematische Beschreibung des Genres graphischer Roman
•historische Entwicklung struktureller, thematischer oder narrativer
Innovationen
Interkulturelle Unterschiede
•USA, Europa und Asien
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
5
Herausforderungen und Chancen
• Graphische Literatur paradigmatisch für die Dominanz von Text-Bild-Kombinationen in der Gegenwartskultur
• DH derzeit text-fokussiert: Digitale Analyse visueller Erzählformen in den Anfängen
• Methoden der Bildanalyse von Interesse für verschiedene Bereiche der DH
• Annotations-Werkzeuge potenziell von Nutzen für Archivierung, Abruf und Analyse von illustrierten Texten, Film, Fernsehen, Fotografie und Computerspielen
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
6
Methodenkombination
Kulturwissenschaft: Narratologie, Intermedialitätsforschung,
Kulturgeschichte
•Korpuserstellung, Quantitative Analyse des Genres, Beitrag zu einer
empirisch fundierten Narratologie multimedialer Erzählformen
Informatik: XML, Annotationstool, maschinelle Bildverarbeitung,
lernende Systeme
•Rechnerunterstütze, teilautomatisierte Annotation und Analyse von
Comics und graphischen Romanen, Vorbereitung für EyeTracking
Kognitionswissenschaft: experimenteller Zugang,
Blickbewegungsmessung, Aufmerksamkeitsmodellierung
•Quantifizierung der Aufmerksamkeitslenkung, Analyse medialer
Eigenarten, Brückenschlag narrative Strukturen – empirischer Leser
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
II. Digitale Annotation
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
8
Zielsetzung “Graphic Narrative Markup Language“ (GNML)Operationalisierbare Fragen:
•Wie oft wechselt die Aufmerksamkeit des Lesers von Text zu Bild
•Was ist der relative (visuelle) Anteil eines Charakters an der
gesamten Erzählung?
VirginiaStillman
PeterStillman
I am filledwith hope.
It‘s time now, Peter.Mrs. Saavedra iswaiting for you.
Sicht des Lesers GNML-SichtAuster, Karasik and Mazzuchelli, City of Glass: The Graphic Novel
• GNML-Annotation ermöglicht
abstrakte Sicht auf visuelle
Daten
⇒ ermöglicht effiziente,
automatisierte Analyse
• Ortskoordinaten
Voraussetzung für
Eyetracking-Maße
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
9
GNML: Kurzbeschreibung
Version 1.0, XML-basierte Beschreibungssprache
•Basierend auf den Standards „Text Encoding Initiative“ (TEI) und
„Comic Book Markup Language“ (CBML; Walsh, 2012)
I am filledwith hope.
VirginiaStillman
PeterStillman
It‘s time now, Peter.Mrs. Saavedra iswaiting for you.
GNML-Sicht GNML-DatenAuster, Karasik and Mazzuchelli, City of Glass: The Graphic Novel
Repräsentiert•Meta-Daten (Titel, Autor,…)•Panel-Ort und -Übergang•Charaktere und Objekte: Ort, Identität, Beziehung
• Visuelle Beziehungen • Logische Beziehungen
•Texte: Ort und Inhalt, Typ (Panel, Sprech-, Denkblase, Onomatopoeia: WOOOM!)
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
10
GNML-Editor
• Software zur Erfassung und Bearbeitung von GNML-Daten
• Erlaubt intuitives, visuelles Annotieren graphischer Literatur
• Erkennt automatisch Comic-Panels
- Auch irreguläre Panel-Formen oder -Anordnungen werden
erkannt.
Komfort und verringerte Fehleranfälligkeit bei der Datenerfassung durch flexible Auto-Vervollständigungsmechanismen
Editor mit automatisch erkannter Panel-Anordnung
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
11
Herausforderungen für Informatik
• GNML
– Ausbau um alle relevanten Aspekte graphischer Literatur
abzudecken
• GNML-Editor
– Automatische Texterkennung auch für irreguläre Text-Fonts
• Nutzung von OCR (optical character recognition) wenn
möglich
• Nutzung von Lernenden Systemen, wenn OCR versagt
(Handschriften-Erkennung)
– Automatische Erkennung anderer Objekte (z.B. Finden und
Identifizieren von Charakteren
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
III. Kognitionswissenschaftliches Fallbeispiel
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
13
Kognitionswissenschaftliche Experimente
Verteilung der Aufmerksamkeit
Verteilung der Aufmerksamkeit
Verteilung der Aufmerksamkeit
Verteilung der Aufmerksamkeit
Verteilung der Aufmerksamkeit
Verteilung der Aufmerksamkeit
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
20
1. Text
2. Gesichter
3. Protagonisten
4. Andere Charaktere
5. Handlungsrelevante Objekte
6. Saliente Objekte
7. Hintergrund
Verteilung der Aufmerksamkeit
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
IV. Kulturwissenschaftliches Fallbeispiel
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
22
Vorarbeiten: Literatur- und Kulturwissenschaft
• Beginn Erstellung und Annotation eines Korpus des US-amerikanischen Graphischen Romans
• Sichtung und Kritik narratologischer Ansätze zum graphischen Roman
• Vergleichende Pilotstudien: Intermediale Analyse Roman/Graphischer Roman (City of Glass) und Film/Graphischer Roman (Ghost World)
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Kulturwissenschaftliches Fallbeispiel: Netzwerkanalyse City of Glass
Paul Auster, City of Glass, in: The New York Trilogy (London: Faber 1999).
Paul Auster, Paul Karasik and David Mazzuchelli, City of Glass, the Graphic Novel, intr. Art Spiegelman (London: Faber, 2005).
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Netzwerkanalyse Graphischer Roman: Kategorien der Interaktion
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
Zusammenfassung
I. Digitale und teil-automatisierte Annotation und Analyse
II. Quantitative Beschreibung der spezifischen Struktur
graphischer Literatur
III. Kognitionswissenschaftliche Studien zur Leser-Rezeption
Nachwuchsgruppe „Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur“
26
Kontakt und Homepage
Kontakt: Dr. Alexander Dunst ([email protected])
Dr. Rita Hartel ([email protected])
Dr. Sven Hohenstein ([email protected])
Dr. Jochen Laubrock ([email protected])
Homepage/Blog: www.graphic-literature.upb.de
