View
131
Download
4
Category
Preview:
DESCRIPTION
Indexation vidéo Indexation multimédia. Analyse Extraction. Index. Documents. Structuration Représentation. Visualisation Exploration. Recherche Filtrage. Interrogation Requêtes. Indexation multimédia. Moteur d'instanciation automatique. Base de Données. SAMoVA. speech. speech. - PowerPoint PPT Presentation
Citation preview
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéoIndexation multimédia
AnalyseExtraction Structuration
Représentation
RechercheFiltrage
InterrogationRequêtes
IndexDocuments
VisualisationExploration
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Moteurd'instanciationautomatique
Base de Données
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Analyse audio
Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas
silencemusic speechspeech
French English
Speech transcription Speech transcription
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les
positions des zones de texte– Heuristiques sur l’alignement des zones
de texte
Hae-Kwang Kim – Bassem Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
MILLIONSde francs
AIAMER
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Chaînage
• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya
Gaël Jaffré
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Paramètres de la production audiovisuelle
Projet ITEA KLIMT
– Costume• Identification• Fonction
– Cadrage– Décors– Eclairage
Gaël Jaffré
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement
Thomas Fourès
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Mouvements du corps humain
Projets ITEA KLIMT – ROBEA GdansC
– Appariement d’un modèle hiérarchique
– Contraintes– Description XML
SAMoVA
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Mouvements du corps humain
<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>
</Motion><Motion Id="2">
<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>
</Motion>
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Segmentation
Caractérisation
Interprétation
Minh Phung Bui Thi
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Interprétation
Indexation multimédia
Segmentation
Caractérisation
Minh Phung Bui Thi
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Signe (Pierce)
• Formalismes descriptifs
Objetsémantique
Indexation multimédia
InterpretantPragmatique
RepresentamenSyntaxe
Types (costume, décor, montage, …)
Formes possibles, caractérisations
Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage
XML-Schema pour désambiguïser l’interprétation
– Compactage des descriptions (Bin-XML)
Claude Seyrat
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Siba Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Macrosegmentation
– Typologie de l’évolution des caractéristiques bas-niveau AV
– Identification d’invariants de production– Distances de similarité
Siba Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Interventions
– Segmentation en locuteurs
– Détection/identification des visages
Jean-Pierre Desmoulins
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Leitmotivs
– Détection des jingles
– Détection des logos
Jérôme Louradour
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Projet ITEA KLIMT
– Service d’indexation – externalisation des applications
– Chaînage dynamique – typage des échanges (MPEG-7)
– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Indexer.exe
Component control
ConfiguratorInterface
ControlInteface
Specification.xml
Component 1
Component 2
Component n
server
annuaire
Relationship service
Service 2
Service 3
Primary server
Application
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)
Speech/Music segmentation
(IRIT)
Language identification(TRT & IRIT)
english LVCSR (TRT)
french LVCSR (IRIT)
Topic detection and tracking
(TRT)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Projets en cours
• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)
• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)
• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )
• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion
des connaissances• AS «Question du geste dépendant des pratiques
artistiques» du RTP ArtiStic
Recommended