PEPS I3A PACOrepmus.ircam.fr/_media/paco/paco_rapport_2018.pdf · 2018. 12. 12. · PEPSCNRS:ProjetExploratoirePremierSoutien2018 IntelligenceArtificielleetApprentissageAutomatique(I3A)

PEPS CNRS Projet Exploratoire Premier Soutien 2018Intelligence Artificielle et Apprentissage Automatique (I3A)

Processus dApprentissage en Composition assisteacutee parOrdinateur (PACO)

Rapport scientifique4122018

UMR 9912 STMS IRCAM ndash CNRS ndash Sorbonne UniversiteacuteResponsable scientifique Jean BressonPage web rarrhttprepmusircamfrpaco

Introduction ndash Contexte et objectifs Lideacutee de produire des machines capables de composer est apparue tocirct danslhistoire de linformatique musicale (Hiller and Isaacson 1959) et se reacutepercute de maniegravere reacutecurrente aujourdhui parexemple au sein communauteacutes de recherche eacutemergentes autour de thegravemes tels que Computational Creativity MusicalMetacreation (Pasquier et al 2016) etc Cependant la notion dapprentissage a rarement eacuteteacute exploiteacutee par les compo-siteurs dans une perspective daide agrave la creacuteation On trouve ainsi de nombreuse applications de lIA dans les domainesde lanalyse (Meredith 2015) et de la fouille de donneacutees musicales (Illescas et al 2008) dans les systegravemes geacuteneacutera-tifs ldquoautonomesrdquo (Ghedini et al 2015) ou les agents de (co-)improvisation (Assayag et al 2009a) ou encore pour lesuivi de geste et linteraction temps reacuteel (Franccediloise et al 2013) Dans le domaine de la composition assisteacutee par or-dinateur (CAO) en revanche et peut-ecirctre par deacutefiance vis-agrave-vis dune certaine deacutepossession de la creacuteativiteacute au profitdu calcul (Dubnov et Surges 2014) chercheurs et compositeurs 1 se sont tourneacutes vers des deacutemarches constructivisteset vers dautres aspects des technologies de linformation comme celui du end-user programming (soit le fait de don-ner agrave lutilisateur final dun systegraveme la capaciteacute den ecirctre lui-mecircme le programmeur) et des langages de programma-tion visuels (Assayag et al 2009b) 2 En pointe de cette approche lenvironnement OpenMusic 3 deacuteveloppeacute par notreeacutequipe est un langage de programmation visuelle complet lui-mecircme baseacute sur le langage Common Lisp permettantaux compositeur de creacuteer des programmes visuels (ou mixtes inteacutegrant programmation graphique et textuelle) pourconcevoir des processus de geacuteneacuteration ou de traitement des structures musicales (Bresson et al 2011)

Lobjectif de ce projet exploratoire eacutetait donc deacutetudier des applications possibles de lapprentissage automatiqueen composition musicale assisteacutee par ordinateur En contraste avec une approche consistant agrave produire des systegravemescreacuteatifs plus ou moins autonomes nous nous sommes inteacuteresseacutes agrave lapport potentiel de lIA (et en particulier de tech-niques faisant appel agrave lapprentissage) comme assistance agrave la composition dans la reacutealisation de tacircches telles quela classification et le traitement de structures musicales ou la production de structures et paramegravetres musicaux parrecomposition de motifs Dans ces diffeacuterents cas de figures nous souhaitons agrave terme proposer aux compositeurs desoutils leur permettant de mettre en œuvre des cycles expeacuterimentaux complets incluant la preacuteparation des donneacuteesdapprentissage lentraicircnement des modegraveles et lajustement de leurs paramegravetres pour la geacuteneacuteration de nouvellesdonneacutees ou la reacutesolution de problegravemes

Les structures musicales intervenant dans les systegravemes et processus compositionnels (quils soient reacutealiseacutes parordinateur ou pas) transportent des caracteacuteristiques plus ou moins abstraites qui peuvent ecirctre deacutecelables laquo en sur-face raquo (sur une partition une forme concregravete ou agrave leacutecoute) mais parfois difficile agrave quantifier et agrave traiter explicitementque ce soit dans une deacutemarche danalyse ou de creacuteation Ces caracteacuteristiques peuvent ecirctre porteuses de sens formelou simplement permettre de cateacutegoriser ces structures dans une compreacutehension globale de lœuvre En ce sens eacutega-lement lapprentissage automatique pourrait susciter de nouvelles modaliteacutes de controcircle et de compreacutehension desobjets musicaux

1 A quelques exceptions pregraves cf par exemple (Cope 1996)2 Un contre-exemple sont les travaux meneacutes reacutecemment agrave lIRCAM pour laide agrave lorchestration et la recherche de combinaisons de

timbres instrumentaux qui font un usage intensif des techniques dapprentissage profond cf par exemple (Crestel 2018)3 OpenMusic rarrhttprepmusircamfropenmusic

1

PEPS I3A 2018 PACOndash Rapport scientifique

Reconnaissance de laquo gestes musicaux raquo par apprentissage Nous nous sommes inteacuteresseacutes dans un premier tempsagrave la notion de laquo geste raquo en nous basant sur la bibliothegraveque xmm 4 deacuteveloppeacutee dans leacutequipe ISMM (Interaction SonMusique Mouvement) du laboratoire STMS pour le suivi et de reconnaissance de mouvements en temps reacuteel (Fran-ccediloise et al 2013) Une adaptation de cette bibliothegraveque pour lenvironnement OpenMusic (om-xmm) a fait lobjetdu stage dingeacutenieur de Paul Best (ECE Paris) encadreacute par Jean Bresson et Diemo Schwarz (ISMM) xmm utilise desmodegraveles probabilistes incluant notamment des HHMM (Hierarchical Hidden Markov Models) Entre autres caracteacuteris-tiques (Lee et Kim 1999) ceux-ci ont la particulariteacute de permettre la reconnaissance efficace des seacuteries temporelles(une abstraction pertinente du point de vue musical) agrave partir de petits ensembles de donneacutees dentrainement mdash unehypothegravese eacutegalement adapteacutee dans le cas dutilisation que nous envisageons ougrave ces donneacutees dentrainement serontgeacuteneacuteralement saisies ou transfeacutereacutees par les utilisateurs et non pas extraites automatiquement agrave partir de bases dedonneacutees ou du web

Dans un contexte de composition assisteacutee par ordinateur nous prolongeons la compreacutehension initiale de la no-tion de geste avec celle de laquo geste musical raquo (Godoslashy et Leman 2010) que nous essaierons de deacuteceler et cateacutegoriserdans des extraits sonores agrave partir des donneacutees issues danalyses du signal Nous utilisons pour cela la bibliothegraveque IAE(eacutegalement deacuteveloppeacutee par leacutequipe ISMM) qui offre des outils efficaces dextraction de descripteurs audio (Schnellet al 2017) Eacutetendu agrave cette dimension sonore et musicale un laquo geste raquo pourra ainsi recouvrir des notions diverses lieacuteesagrave leacutevolution des descripteurs temporels du son des motifs meacutelodiques dynamiques ou autres caracteacuteristiques so-nores se distinguant dans lespace multidimensionnel des descripteurs 5 Suivant cette approche Alireza Farhangcompositeur en reacutesidence agrave lIRCAM (2018) utilise om-xmm pour la reconnaissance de gestes musicaux appris surun enregistrement audio de sa piegravece Zymiad dont la partition puis des segments de lenregistrement ont eacuteteacute preacutea-lablement annoteacutes (Bresson et al 2018) Lanalyse par descripteurs et lentrainement dun modegravele xmm permet aucompositeur de classifier des nouveaux extraits suivant les types de gestes quil a preacutealablement deacutefinis 6

Dans le cadre de son stage Paul Best a eacutegalement compileacute des reacutesultats preacuteliminaires de cette expeacuterience etmis en place des meacutethodes et outils permettant aux utilisateurs de la bibliothegraveque om-xmm de tester la validiteacute desmodegraveles et de les optimiser (choix des descripteurs audio pertinents paramegravetre du modegravele dapprentissage etc) agravelaide de techniques de recherche opeacuterationnelle (Best et al 2018)

Boicircte agrave outil de modegraveles dapprentissage Suivant notre objectif visant agrave impliquer les compositeurs dans la concep-tion des modegraveles dapprentissage ce deuxiegraveme volet de nos travaux va sattacher agrave proposer des outils et algorithmesinteacutegreacutes dans lenvironnement OpenMusic personnalisables et applicables librement agrave tous types de donneacutees mu-sicales Nous reprenons donc les bases du domaine avec des algorithmes eacuteleacutementaires permettant de classifier desobjets repreacutesenteacutes par des vecteurs de proprieacuteteacutes (features) dans un espace multidimensionnel (Manning et al 2009)

Nous avons deacuteveloppeacute en collaboration avec Anders Vinjar (chercheur et compositeur indeacutependant baseacute agrave Oslo)une bibliothegraveque OpenMusic (om-ai) articulant ces diffeacuterents algorithmes autour dune structure appeleacutee vector-space Cette bibliothegraveque contient eacutegalement une base extensible dalgorithmes de description permettant dex-traire des caracteacuteristiques (features) et de constituer des vecteurs personnaliseacutes repreacutesenteacutees dans cet espace agrave partirdobjets musicaux Dans une premiegravere approche une classification laquo non superviseacutee raquo (par exemple avec lalgorithmedit k-means) permet de regrouper en clusters ou cateacutegories un ensemble de vecteurs Une notion de contexte ou deproximiteacute peut eacutegalement ecirctre infeacutereacutee lors de la phase dapprentissage sur des seacutequences ordonneacutees (les objets sont-il laquo proches raquo ont-ils eacuteteacute vus dans un mecircme contexte ) Enfin des approches superviseacutees permettent de reacutealiser uneclassification agrave partir dexemples par comparaison de vecteurs entre de nouvelles donneacutees et les caracteacuteristiques desdiffeacuterentes classes deacutetermineacutees lors de lapprentissage ou encore par similariteacute avec un voisinage eacutetabli dans les-pace multi-dimensionnel (approche k-nearest neighbors) Une interface graphique permet la visualisation de lespacede vecteurs en 2D ou 3D suivant des dimensions choisies Un ensemble de modules (eacutegalement extensible et person-nalisable) permet dutiliser ces information de classification ou de similariteacute dans les programmes visuels deacuteveloppeacutesdans OpenMusic

4 xmm rarrhttpircam-rndgithubioxmm5 Dans une optique similaire voir aussi par exemple les travaux du laboratoire Musique et Informatique de Marseille sur les Uniteacutes Seacute-

miotiques Temporelles (Favory 2007)6 Alireza Farhang Traces of Expressivity high-level score of data-stream for interdisciplinary works

rarrhttpwwwalirezafarhangcomalirezafarhangtexts_traces_of_expressivity_en

2


Figure 1 ndashom-xmm Reconnaissance de geste musicaux agrave partir de descripteurs audio

Figure 2 ndashom-ai Repreacutesentation et classification automatique dobjets musicaux dans un espace de vecteurs

3


Modegraveles geacuteneacuteratifs Dans ce troisiegraveme volet nous nous inteacuteressons agrave lutilisation de modegraveles geacuteneacuteratifs baseacutes surlapprentissage et la modeacutelisation stylistique (Assayag et al 1999) dans le cadre de la composition assisteacutee par or-dinateur De tels modegraveles ont deacutejagrave eacuteteacute abordeacutes et deacuteveloppeacutes dans de preacuteceacutedents travaux de leacutequipe Repreacutesenta-tions Musicales avec des bibliothegraveques comme lz (encodagedeacutecodage de seacutequences musicales avec reproductiondes caracteacuteristiques stylistiques) et lrsquooracle des facteurs au cœur du projet OMax (Assayag et Dubnov 2004) utiliseacutesnotamment dans OpenMusic par le compositeur Shlomo Dubnov (Dubnov 2008)

Nous nous concentrons agrave preacutesent sur la derniegravere geacuteneacuteration de ces systegravemes geacuteneacuteratifs (parfois qualifieacutes de sys-tegravemes laquo dimprovisation automatique raquo) agrave travers une connexion avec la bibliothegraveque DYCI2 (Nika et al 2017b) DYCI2est une bibliothegraveque eacutecrite en Python communicant avec des environnements temps reacuteel via OSC dans le but deacuteta-blir des situations de co-improvisation musicale humain-machine Sur le modegravele des systegravemes qui lont preacuteceacutedeacute ungeacuteneacuterateur DYCI2 apprend en construisant un oracle agrave partir de seacutequences musicales eacutetiqueteacutees par un alphabetdonneacute (un ensemble fini de labels) puis geacutenegravere des nouvelles seacutequences en navigant dans cet oracle guideacute par desrequecirctes speacutecifiques exprimeacutees sous forme dune suite de labels (appeleacutee laquo scenario raquo) (Nika et al 2017a)

Dans le cadre dun stage de L3 encadreacute par Jeacuterocircme Nika et Jean Bresson Victoire Siguret (ENS de Lyon) a deacuteve-loppeacute une bibliothegraveque C permettant dinvoquer les fonctionnaliteacutes principales de DYCI2 ainsi que linterface entreCommon Lisp et C correspondante dans une nouvelle bibliothegraveque OpenMusic (om-dyci2) Cette bibliothegraveque per-met ainsi de reacutealiser un apprentissage de seacutequences offline et de produire des nouvelles seacutequences suivant des re-quecirctes dans OpenMusic mdash ces requecirctes pouvant elles-mecircme ecirctre issues dautres processus geacuteneacuteratifs produits danslenvironnement de CAO etou avec DYCI2 Selon la base dapprentissage (entreacutees MIDI fichiers audio) il est en-suite possible de reconstituer les seacutequences geacuteneacutereacutees par extraction et concateacutenation de segments localiseacutes dans lesseacutequences MIDI ou audio originales (donneacutes comme laquo reacuteponse raquo de lagent de geacuteneacuteration aux requecirctes formuleacutees)

Le couplage de cet outil avec les outils de segmentation et dannotation automatique deacuteveloppeacutes par leacutequipeAnalyse et Synthegravese des Sons du laboratoire STMS permet de produire des bases de donneacutees dapprentissage impor-tantes agrave partir denregistrements sonores Ce processus est en œuvre pour la production du projet Lullaby Experience 7

du compositeur Pascal Dusapin (reacutefeacuterent scientifique IRCAM Jeacuterocircme Nika) dont le mateacuteriau sonore sera produit engrande majoriteacute gracircce agrave la bibliothegravequeom-dyci2

Figure 3 ndashom-dyci2 Geacuteneacuteration de seacutequences par apprentissage et guidage par sceacutenario

7 rarrhttpswwwircamfrarticledetaillullaby-experience

4


Workshop Music Composition and Creative Interaction with Machine Learning

SMCrsquo18 International Sound and Music Computing conferenceCyprus University of Technology Limassol 60718

Programme - Diemo Schwarz (IRCAM) Learning gestures from audio descriptors

- Jerome Nika (Univ La Rochelle IRCAM) Symbolic human-machine musical interaction

- Tetsuro Kitahara (Nihon University Japan) An improvisation support system with melody generation based onuser-drawn melodic outlines

- Jean Bresson (IRCAM) Machine learning in the compositional workflow

- Anders Vinjar (Norway) An exploration AI techniques for computer-aided composition

- Hugo Scurto (IRCAM) Creating Human-AI Collaboration in Music Applications

- Philippe Pasquier (Simon Fraser University Canada) Computer assisted composition and sound design at the Me-tacreation Lab

Page web du workshop rarrhttprepmusircamfrpacoworkshop-smc

Figure 4 ndash Workhop Music Composition and Creative Interaction with Machine Learning SMCrsquo18 6072018

5


Publications

bull J Bresson P Best D Schwarz A Farhang From Motion to Musical Gesture Experiments with Machine Lear-ning in Computer-Aided Composition International Workshop on Musical Metacreation (MuMe) Co-located withthe International Conference on Computational Creativity (ICCCrsquo18) Salamanca Espagne 2018rarrhttpshalarchives-ouvertesfrhal-01815988

bull P Best J Bresson D Schwarz Musical Gesture Recognition Using Machine Learning and Audio DescriptorsProceedings of the International Conference on Content-Based Multimedia Indexing (CBMIrsquo18) La Rochelle France2018rarrhttpshalarchives-ouvertesfrhal-01839050

Production logicielle (bibliothegraveques OpenMusic)

bull om-xmm Modegraveles probabilistes pour le suivi et la reconnaissance de gestesrarrhttpsgithubcomopenmusic-projectom-xmmDocumentation rarrhttpsgithubcomopenmusic-projectom-xmmwiki

bull om-ai Boite agrave outils pour lapprentissage automatique et superviseacuterarrhttpsgithubcomopenmusic-projectomai

bull om-dyci2 Modegraveles geacuteneacuteratifs guideacutes par sceacutenariorarrhttpsgithubcomDYCI2om-dyci2Documentation rarrhttpsgithubcomDYCI2om-dyci2wiki[en]

6


Reacutefeacuterences

Assayag G Dubnov S ldquoUsing Factor Oracles for machine Improvisationrdquo Soft Computing 8(9) 2004

Assayag G Dubnov S and Delerue O ldquoGuessing the Composers Mind Applying Universal Prediction to MusicalStylerdquo Proceedings of the International Computer Music Conference (ICMC) Beijing China 1999(a)

Assayag G Rueda C Laurson M Agon C Delerue O ldquoComputer Assisted Composition at IRCAM From PatchWorkto OpenMusicrdquo Computer Music Journal 23(3) 1999(b)

Bresson J Agon C Assayag G ldquoOpenMusic ndash Visual Programming Environment for Music Composition Analysisand Researchrdquo ACM MultiMedia ndash OpenSource Software Competition Scottsdale USA 2011

Briot J-P Hadjeres G Pachet F Deep Learning Techniques for Music Generation Computational Synthesis and CreativeSystems series Springer 2018

Cope D Experiments in Musical Intelligence A-R Editions Madison 1996

Crestel L Reacuteseaux de neurones pour lorchestration musicale automatique Thegravese de doctorat Sorbonne Universiteacute Paris2018

Dubnov S ldquoMemex and Composer Duets Computer-Aided Composition Using Style Modeling and Mixingrdquo In Bres-son J Agon C Assayag G (Eds) The OM Composers Book 2 Editions Delatour Ircam 2008

Dubnov S Surges G ldquoDelegating Creativity Use of Musical Algorithms in Machine Listening and Compositionrdquo InLee N (Ed) Digital Da Vinci Computers in Music Springer 2014

Favory J ldquoLes uniteacutes seacutemiotiques temporellesrdquo Matheacutematiques et sciences humaines 178 2007 [online]

Franccediloise J Schnell N Bevilacqua F ldquoA Multimodal Probabilistic Model for Gesture-based Control of Sound Syn-thesisrdquo ACM MultiMedia Barcelona Spain 2013

Ghedini F Pachet F Roy P ldquoCreating Music and Texts with Flow Machinesrdquo In Multidisciplinary Contributions to theScience of Creative Thinking Springer 2015

Godoslashy R I Leman M (Eds) Musical Gestures Sound Movement and Meaning Routledge 2010

Hiller L Isaacson L Experimental Music Composition With an Electronic Computer McGraw-Hill 1959

Illescas P R Rizo D Intildeesta J M ldquoLearning to Analyse Tonal Musicrdquo Proceedings of the International Workshop on Ma-chine Learning and Music Helsinki Finland 2008

Lee H-K Kim J H ldquoAn HMM-based threshold model approach for gesture recognitionrdquo IEEE Transactions on PatternAnalysis and Machine Intelligence 21(10) 1999

Manning C D Raghavan P Schuumltze H An Introduction to Information Retrieval Cambridge University Press 2009

Meredith D (Ed) Computational Music Analysis Springer 2015

Nika J Chemillier M Assayag G ldquoImproteK introducing scenarios into human-computer music improvisationrdquoACM Computers in Entertainment 14(2) Special issue on Musical metacreation Part 1 2017(a)

Nika J Deacuteguernel K ChemlandashRomeu Santos A Vincent E Assayag G ldquoDYCI2 agents merging the ldquofreerdquo ldquoreacti-verdquo and ldquoscenario-basedrdquo music generation paradigmsrdquo Proceedings of the International Computer Music Conference (ICMC)Shanghai China 2017(b)

Pasquier P Eigenfeldt A Bown O Dubnov S ldquoAn Introduction to Musical Metacreationrdquo ACM Computers in Enter-tainment 14(2) Special issue on Musical Metacreation 2016

Schnell N Schwarz D Larralde J Borghesi R ldquoPiPo A Plugin Interface for Afferent Data Stream Processing Modu-lesrdquo International Symposium on Music Information Retrieval Suzhou China 2017

7


Reconnaissance de laquo gestes musicaux raquo par apprentissage Nous nous sommes inteacuteresseacutes dans un premier tempsagrave la notion de laquo geste raquo en nous basant sur la bibliothegraveque xmm 4 deacuteveloppeacutee dans leacutequipe ISMM (Interaction SonMusique Mouvement) du laboratoire STMS pour le suivi et de reconnaissance de mouvements en temps reacuteel (Fran-ccediloise et al 2013) Une adaptation de cette bibliothegraveque pour lenvironnement OpenMusic (om-xmm) a fait lobjetdu stage dingeacutenieur de Paul Best (ECE Paris) encadreacute par Jean Bresson et Diemo Schwarz (ISMM) xmm utilise desmodegraveles probabilistes incluant notamment des HHMM (Hierarchical Hidden Markov Models) Entre autres caracteacuteris-tiques (Lee et Kim 1999) ceux-ci ont la particulariteacute de permettre la reconnaissance efficace des seacuteries temporelles(une abstraction pertinente du point de vue musical) agrave partir de petits ensembles de donneacutees dentrainement mdash unehypothegravese eacutegalement adapteacutee dans le cas dutilisation que nous envisageons ougrave ces donneacutees dentrainement serontgeacuteneacuteralement saisies ou transfeacutereacutees par les utilisateurs et non pas extraites automatiquement agrave partir de bases dedonneacutees ou du web

Dans un contexte de composition assisteacutee par ordinateur nous prolongeons la compreacutehension initiale de la no-tion de geste avec celle de laquo geste musical raquo (Godoslashy et Leman 2010) que nous essaierons de deacuteceler et cateacutegoriserdans des extraits sonores agrave partir des donneacutees issues danalyses du signal Nous utilisons pour cela la bibliothegraveque IAE(eacutegalement deacuteveloppeacutee par leacutequipe ISMM) qui offre des outils efficaces dextraction de descripteurs audio (Schnellet al 2017) Eacutetendu agrave cette dimension sonore et musicale un laquo geste raquo pourra ainsi recouvrir des notions diverses lieacuteesagrave leacutevolution des descripteurs temporels du son des motifs meacutelodiques dynamiques ou autres caracteacuteristiques so-nores se distinguant dans lespace multidimensionnel des descripteurs 5 Suivant cette approche Alireza Farhangcompositeur en reacutesidence agrave lIRCAM (2018) utilise om-xmm pour la reconnaissance de gestes musicaux appris surun enregistrement audio de sa piegravece Zymiad dont la partition puis des segments de lenregistrement ont eacuteteacute preacutea-lablement annoteacutes (Bresson et al 2018) Lanalyse par descripteurs et lentrainement dun modegravele xmm permet aucompositeur de classifier des nouveaux extraits suivant les types de gestes quil a preacutealablement deacutefinis 6

Dans le cadre de son stage Paul Best a eacutegalement compileacute des reacutesultats preacuteliminaires de cette expeacuterience etmis en place des meacutethodes et outils permettant aux utilisateurs de la bibliothegraveque om-xmm de tester la validiteacute desmodegraveles et de les optimiser (choix des descripteurs audio pertinents paramegravetre du modegravele dapprentissage etc) agravelaide de techniques de recherche opeacuterationnelle (Best et al 2018)

Boicircte agrave outil de modegraveles dapprentissage Suivant notre objectif visant agrave impliquer les compositeurs dans la concep-tion des modegraveles dapprentissage ce deuxiegraveme volet de nos travaux va sattacher agrave proposer des outils et algorithmesinteacutegreacutes dans lenvironnement OpenMusic personnalisables et applicables librement agrave tous types de donneacutees mu-sicales Nous reprenons donc les bases du domaine avec des algorithmes eacuteleacutementaires permettant de classifier desobjets repreacutesenteacutes par des vecteurs de proprieacuteteacutes (features) dans un espace multidimensionnel (Manning et al 2009)

Nous avons deacuteveloppeacute en collaboration avec Anders Vinjar (chercheur et compositeur indeacutependant baseacute agrave Oslo)une bibliothegraveque OpenMusic (om-ai) articulant ces diffeacuterents algorithmes autour dune structure appeleacutee vector-space Cette bibliothegraveque contient eacutegalement une base extensible dalgorithmes de description permettant dex-traire des caracteacuteristiques (features) et de constituer des vecteurs personnaliseacutes repreacutesenteacutees dans cet espace agrave partirdobjets musicaux Dans une premiegravere approche une classification laquo non superviseacutee raquo (par exemple avec lalgorithmedit k-means) permet de regrouper en clusters ou cateacutegories un ensemble de vecteurs Une notion de contexte ou deproximiteacute peut eacutegalement ecirctre infeacutereacutee lors de la phase dapprentissage sur des seacutequences ordonneacutees (les objets sont-il laquo proches raquo ont-ils eacuteteacute vus dans un mecircme contexte ) Enfin des approches superviseacutees permettent de reacutealiser uneclassification agrave partir dexemples par comparaison de vecteurs entre de nouvelles donneacutees et les caracteacuteristiques desdiffeacuterentes classes deacutetermineacutees lors de lapprentissage ou encore par similariteacute avec un voisinage eacutetabli dans les-pace multi-dimensionnel (approche k-nearest neighbors) Une interface graphique permet la visualisation de lespacede vecteurs en 2D ou 3D suivant des dimensions choisies Un ensemble de modules (eacutegalement extensible et person-nalisable) permet dutiliser ces information de classification ou de similariteacute dans les programmes visuels deacuteveloppeacutesdans OpenMusic

4 xmm rarrhttpircam-rndgithubioxmm5 Dans une optique similaire voir aussi par exemple les travaux du laboratoire Musique et Informatique de Marseille sur les Uniteacutes Seacute-

miotiques Temporelles (Favory 2007)6 Alireza Farhang Traces of Expressivity high-level score of data-stream for interdisciplinary works

rarrhttpwwwalirezafarhangcomalirezafarhangtexts_traces_of_expressivity_en

2




3









4













5


Publications







6

























7




3









4













5


Publications







6

























7









4













5


Publications







6

























7













5


Publications







6

























7


Publications







6

























7

























7

Documents

PEPS I3A PACOrepmus.ircam.fr/_media/paco/paco_rapport_2018.pdf · 2018. 12. 12. · PEPSCNRS:ProjetExploratoirePremierSoutien2018 IntelligenceArtificielleetApprentissageAutomatique(I3A)