Upload
harald-sack
View
1.490
Download
2
Embed Size (px)
DESCRIPTION
Citation preview
MULTIMEDIA-ANALYSE-TECHNIKEN
SeminarDr. Harald Sack / Jörg Waitelonis
Magnus Knuth / Nadine LudwigBernhard Quehl / Haojin Yang
Hasso-Plattner-Institut für SoftwaresystemtechnikUniversität Potsdam
Sommersemester 2011
Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).
Mittwoch, 13. April 2011
http://mumat2011.blogspot.com/
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
3
Multimedia-Analyse-Techniken
1. Dozenten / Tutoren
2. Multimedia-Analyse-Techniken
3. Seminarthemen
4. Administratives
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
4
Semantic MultimediaDozenten / Tutoren
Dr. Harald Sack■ Senior Researcher am HPI
■ Leiter der Forschungsgruppe „Semantische Technologien“
■ Forschungsschwerpunkte:
□ Semantic Web Technologien
□ Multimedia Retrieval
□ Wissensrepräsentation
■ Yovisto.com / SEMEX
■ THESEUS / Mediaglobe / CONTENTUS
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Dipl. Inform. Jörg Waitelonis
■ Studium Informatik Uni-Jena bis 2006
■ 2006-2007 Exist-Seed Projekt Osotis
■ seit 2007 Gründer von yovisto.com
■ Entwickler von REPLAY (ETH-Zürich)
■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien
5
Semantic MultimediaDozenten / Tutoren
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
6Dipl.-Inf. Magnus Knuth
■Studium Informatik, Uni Leipzig bis 2007
■ Institut für Medizinische Informatik, Statistik und Epidemiologie, Uni Leipzig 2006-2010
■Research Assistant am HPI, Contentus & Mediaglobe
■ Forschung: Semantic Web, Knowledge Management, Information Retrieval, Personalisierte Webapplikationen
Semantic MultimediaDozenten / Tutoren
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
7Dipl.-Inf. Nadine Ludwig
■Studium Informatik, TU Ilmenau bis 2005
■2005-2010 TU Berlin:
• kooperative Lernszenarien
• Integration von Semantic Web Technologien in kooperative Lernplattformen
■ seit 05/2010 am HPI:
• Semantische Analyse, Named Entity Recognition, Disambiguierung
Semantic MultimediaDozenten / Tutoren
Mittwoch, 13. April 2011
5
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Dipl. Inform. Bernhard Quehl FH
■Fachhochschule Brandenburg
■Schwerpunkt:
• Intelligente Systeme• Network Computing■Diplomarbeit am Fraunhofer Heinrich Hertz
Institut – Bildverarbeitung
■Research Assistant at HPI, Mediaglobe Project
Multimedia Analyse Technologien
Mittwoch, 13. April 2011
5
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Dipl. Ing Haojin Yang
■ TU Ilmenau (2002 - 2007)
■ Software Entwickler (2008 - 2010)
■ Research Assistant, Doktorand am HPI
■ Forschung:
• Multimedia Analyse,
• Video-OCR,
• Automatic Speech Recognition,
• Semantic Web, Information Retrieval
Multimedia Analyse Technologien
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
11
■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur.
■ UseCase Contentus: Technologien für die Mediathek der Zukunft.
■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten.
■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten
■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-Techniken
1. Dozenten / Tutoren
2. Multimedia-Analyse-Techniken
3. Seminarthemen
4. Administratives
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse - eine (Kurz)-Vorstellung■ Bsp. Google
□ wie kommt Google zu Informationen (Metadaten) über das Video?
13
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
14 Wie findet man etwas in einem audiovisuellen Archiv?
1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
15 Wie findet man etwas in einem audiovisuellen Archiv?
2. Schritt: VerschlagwortungDamit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
16 Bedeutung inhaltsbeschreibender (textueller) Daten
• Wir benötigen textuelle Beschreibungen
• des Inhalts
• des Produktionsprozesses
• der technischen Parameter
• etc....
• Diese textuellen Beschreibungen werdenals Metadaten bezeichnet
• Metadaten für AV-Inhalte werden meist immer noch manuell erstellt
Multimedia-Analyse-Techniken
Manuelle Audio-/Videoanalyse
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
17 Automatisierte Audio-/Videoanalyseautomatische inhaltliche Analyse ist
•schwierig und•berechnungs-/speicheraufwändig
Audio-Information
{
Multimedia-Analyse-Techniken
PersonText LogoStudio-
aufnahme
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Multimedia-Analyse-TechnikenStrukturelle Analyse
■ Automatische strukturelle Gliederung von AV-Daten
□ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente)
18
video
scenes
shots
subshots
frames
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
19
Multimedia-Analyse-TechnikenVisuelle Analysetechniken
Face-DetectionFace ClusteringFace Tracking
Video-OCR
Logo-Detection
Genre Detection
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
20 Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten
■ Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren
■ Metadaten als Basis für traditionelles und semantisches Information Retrieval
Metadata Extractiontime
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
21 Beispiele:
Explorative Videosuche mit Linked Data
Anwendungsbeispiele
http://mediaglobe.yovisto.com:8080/
http://mediaglobe.yovisto.com:8080/mggui/
https://nm-contentus-d2.iais.fraunhofer.de/contentus/
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
221. Dozenten / Tutoren
2. Semantic Multimedia
3. Seminarthemen
4. Administratives
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Themenüberblick• Face Detection & Clustering• Video Text Identification• OCR Postprocessing• Genre Detection• Audio Data Mining
23
Seminarthemen
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
■1. Gesichter im Video finden (OpenCV Haarcascades)24
Face Detection und Clustering
Faces
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
■2. Gesichter clustern nach bekannten Verfahren25
Face Detection und Clustering
Faces
visuelle Ähnlichkeit
?!?
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
■3. Cluster verfeinern unter Berücksichtigung weiterer Features26
Face Detection und Clustering
Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung)
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
■4. Cluster manuell mit einem Label versehen27
Face Detection und Clustering
Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung)
Thomas Katy Miley
Mittwoch, 13. April 2011
Aufgabe:
• welche Bilder in dem Video enthalten Text
• in welcher Bildregion befindet sich der Text
6
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Feat
ure
Extra
ctio
n
Analyse der Features
Bestimmen der Bildregion
Video Text Identification
Mittwoch, 13. April 2011
Video Text Identification
6
Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
OCR PostprocessingSpellcorrection
■ Problem:
□ Standard-Spellcorrection arbeitet ineffizient auf fehlerhaft erkanntem Text aus OCR
■ Ziel:
□ Konfiguration / Anpassung von Hunspell für OCR-Texte
□ verschiedene statistische Herangehensweisen untersuchen:
1. Ähnlichkeiten von Zeichen
2. Analyse typischer Fehler bei OCR
□ Tool zur Generierung der Mappingwahrscheinlichkeiten
□ Evaluation
30
Mittwoch, 13. April 2011
■ Problem:
□ Klassifikation von Videosegmenten nach unterschiedlichen Genre-Klassen (Tag/Nacht, Innen/Außen, Grafik, Vor-/Abspann, Interview, Vortrag/Rede, ...)
■ Ziel:
□ Low-Level-Features bestimmen undautomatisch erkennen (z. B.: Helligkeitsverteilung,Farbspektrum, Farbverteilung, ...)
□ Segment-Kollektionen erstellen, z. B. für:
□Schwarz-Weiß ↔ Farbfilm, Tag ↔ Nacht,
gute Bildqualität ↔ schlechte Qualität, ...
□ Algorithmen finden, implementieren, evaluieren
□ Anwendung maschineller Lernverfahren
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
31
Visual Genre Detection
Nacht / Outdoor
Nacht / Outdoor
Daytime / Indoor
?? / ??
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
■ Problem:
□ Automated Speech Recognition (ASR) zur Transkribierung des gesprochenen Wortes ist ist in vielen Fällen nicht zufriedenstellend
□ Einfacheres Problem: Segmentierung des Videos nach audiblen Events wie Monolog (Mann/Frau), Dialog, Musik, Lachen, Applaus, ...
■ Ziel:
□ Repräsentative Samples für die Aufgabe bestimmen (Mediaglobe/Yovisto Testset)
□ Features bestimmen
□ Intensitätsanalyse (laut/leise/Stille/Pausen/...)
□ Anwendung maschineller Lernverfahren
□ Identifiziere Sprachsequenzen (Monolog/Dialog/...)
□ Evaluation
32
Audible Event Recognition
Einfache Impulsanalyse
Sonogramm
Mittwoch, 13. April 2011
1. Dozenten / Tutoren
2. Semantic Multimedia
3. Seminarthemen
4. Administratives
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
33
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
34 Administratives□Semesterwochenstunden: 4
□ECTS: 6
□Leistungsfeststellung:
□Schriftliche Ausarbeitung zum Vortragsthema□Umsetzung einer vorgegebenen Implementierungsaufgabe im Team□Präsentation der
□ Projektteams mit je 2-3 Studenten bearbeiten eine der vorgeschlagenen Aufgabenstellungen
Multimedia-Analyse-Techniken
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Administratives■Termine:
□Wöchentliches Seminargruppentreffen
□Termin nach Vereinbarung
□Zwischenpräsentation der Projektergebnisse
□Abschlusspräsentation der Ergebnisse
□Termin in der letzten Semesterwoche
■Plenum-Termine:
□ „Ohne Evaluation geht nichts...“
□ „Wie schreibe ich eine wissenschaftliche Arbeit?“ (mit LaTeX)
35
Multimedia Analyse Technologien
Mittwoch, 13. April 2011
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
36
Literatur
• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008
• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008
• Blog zur Webseite:http://mumat2011.blogspot.com/
Multimedia Analyse Technologien
Mittwoch, 13. April 2011