1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Development of Multimodal User Interface by Interpretation and by Compiled Components:

1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007

Development of Multimodal User Interfaceby Interpretation and by Compiled

Components: a Comparative Analysis between InterpiXML and OpenInterface

Yann GoffetteHenri Louvigny

Université catholique de Louvain (UCL)Licence in Computer Science


Plan

• Introduction– La multimodalité– Objectifs

• Présentation des outils– Quill– HandVu

• Présentation des plate-formes– InterpiXML– OpenInterface

• Intégration de la multimodalité à InterpiXML• Intégration de composants à OpenInterface• Intégration d’InterpiXML à OpenInterface• Tests & évaluation• Conclusions


Introduction : la multimodalité

• La multimodalité : une interface multimodale permet à un utilisateur de communiquer avec la machine par le biais de plusieurs modalités d'interaction de manière

– simultanée– alternée– complementaire

• Le premier système multimodal:« Put that there » (Bolt,1979)


Introduction : Objectifs

Intégration de deux modalités à deux plateformes :• Choix des modalités :

– Reconnaissance de dessin par stylet via tablette graphique– Reconnaissance de geste de la main via caméra

• Choix des plate-formes :– InterpiXML– OpenInterface


Sélection des outils : Quill

• Toolkit pour la reconnaissance de geste dessinés avec un stylet• Algorithme de type Feature-based basé sur l'algorithme de

Rubine• Avantages

– Le développeur définit les gestes qu'il veut dessiner pour son application

– Feedback direct– Facilité d'intégration (.jar )– Apprentissage rapide du reconnaisseur

(feature-based)

• Désavantages – Gestes à un seul trait


Sélection des outils : HandVu

• Toolkit pour la reconnaissance de geste par caméra• Avantages

– Detection– Tracking– Reconnaissance

• Désavantages– Faibles nombre de gestes reconnaissables (6)


Sélection des plateformes : InterpiXML

• Choix du langage de spécification d’interface: UIML, UsiXML, XIML,…– Avantages : Disponibilité, Flexibilité, ...

• Implémentation d’un interpréteur Java de UsiXML V1.8.0– UsiXML vers Javax.swing– Multi-modal, multi-langues


Sélection des plateformes : OpenInterface

• Plateforme dont l'objectif principal est de fournir une plateforme open source pour le développement rapide de systèmes multimodaux

• Principe général– Développement de composants

• Modalités d'interaction ou applications• CIDL associé

– Connections entre ces composants• Pipelines et PCDL• Pins (Sink and Sources)• Callback mechanism ( asynchronous messages)


Intégration de la multimodalité à InterpiXML

• Architecture– Nouveau package– Event bus

• Avantage : – Souplesse des modalités

à l’utilisateur et au développeur

d’interface

• Inconvénient : – Manque de souplesse pour

l’ajout de modalité au système


Intégration de la multimodalité à InterpiXML

• Résultat :– Ajout d’infos sur

la multimodalité– Problème du focus


Intégration de composants à OpenInterface

• Intégration des reconnaisseurs de gestes

– Définition des CIDL associés

– Définition de l'application

– Définition du pipeline

– Fonctionnement

• Gestes à la tablette

• Gestes à la camera


Démonstration


Intégration d’InterpiXML à OpenInterface

• Pipe-line• Avantages:

–


Tests & évaluation


Tests & évaluation


Tests & évaluation

• Buts de l'expérience– Évaluer l'utilisabilité des modalités– Évaluer les différences entre les 2 plate-formes

• Participants :– 15 personnes dont 1 pré-test.– 11 hommes, 3 femmes– Agés entre 19 et 37 avec une moyenne de 24,4– Se disent bon utilisateur de la souris mais pas des autres

périphériques


Tests & évaluation

• Pas de différence notableentre les 2 plate-formes

• A: En général, je suis satisfait(e) de la facilité d'utilisation de ce système.

• B : Ce système est simple à utiliser.

• C : J'ai complété mon travail correctement en utilisant ce système.

• D : J'ai été en mesure de compléter rapidement ma tache avec ce système.

• E : J'ai complété mon travail éfficacement en utilisant ce système.

• F : Je me sens à l'aise avec ce système.

• G : J'ai eu de la facilité à apprendre comment utiliser ce système.

• H : Je crois être devenu(e) rapidement efficace en utilisant ce système.

• I : Ce système possède toutes les fonctions et le potentiel correspondant à mes attentes.

• J : En général, je suis satisfait(e) de ce système.


Tests & évaluation

• Pas de différence notableentre les 2 plate-formes

• La tablette joue un effetmodérateur. La multimodalitéajoute de la robustesse au système.

• 3 questions : - satisfaction générale- facilité de déplacement- facilité de selection

Webcam

Tablette Les 2 ensemble


Tests & évaluation

• Effet d'apprentissage important– Pour le temps d'accomplissement– Pour le degré d'accomplissement

Ligne 350

20

40

60

80

100

120

140

160

180

200

InterpiXML Camera

OpenInterface Camera

InterpiXML tablette

OpenInterface tablette

InterpiXML Camera et Tablette

OpenInterface Camera et tablette

modality

seco

nd

s


Tests & évaluation

• Les utilisateurs experts ne sont pas avantagés par leur expérience préalable d’un dispositif d’interaction

• Les modalités ne peuvent être facilement utilisées en même temps

Exception: les utilisateurs gauchers


Conclusion

• La multimodalité fournit des systèmes plus robustes– Les utilisateurs changent de modalité lorsqu’une des modalités ne

fonctionne pas bien– Les utilisateurs utilisent les modalités qu’ils maitrisent le mieux

• L’intégration de nouvelles modalités sur InterpiXML est rendue facile par :– Le bus d’événement– Peu de modifications dans le code de l’application d’interpiXML– Transparence : le développeur d’interface ne doit pas se soucier des

modalités d’interaction disponibles– Les modalités peuvent être stoppées et redemarrées à tout instants

• OpenInterface est un outil puissant pour la multimodalité :– Seul le composant et son CIDL associé doivent être écrits => pas de

modification de la plate-forme (à nouveau transparence)– Possibilité de connecter n’importe quel composant de reconnaissance à

n’importe quelle application. Il faut toutefois décrire dans un pipeline les connections

– OpenInterface supporte la Complémentarité des propriétés CARE


Conclusion

• Intégration d’interpiXML comme composant d’OpenInterface● Cette intégration combine les 2 avantages des 2 plate-formes

● Indépendance des applications au dessus d'OpenInterface ou d'interpiXML

● Le développement de l'application est indépendante des modalités● Le développement des modalités est indépendant de l'application finale


Thank you very much for your attention

BCHI Labhttp://www.isys.ucl.ac.be/bchi

European network on Multimodal UIshttp://www.similar.cc

User Interface eXtensible Markup Languagehttp://www.usixml.org

Documents

1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Development of Multimodal User Interface by Interpretation and by Compiled Components: