Principles of Mixed-Initiative User Interfaces

Principles of Mixed-Initiative User Interfaces Interfaces Intelligentes

Youssef KASSID M.DESMARAIS

KASSID Youssef Automne 2013 Interfaces Intelligentes

Plan

Introduction.Les Principes de l’Initiative Mixte UI.Le Système LookOut.Les objectifs de l’utilisateur.Certitude et actionL’attention utilisateur & le timing de

serviceMachine pour l’apprentissage continuConclusion



Développer des services automatisés

Manipuler directement les interfaces

#Tendance à la divergence des intérêtsChercheurs

Agen

t d’in

terfac

e

Manipulation directe

Introduction

IntroductionKASSID Youssef Automne 2013 Interfaces Intelligentes

Service automatisé

Manipulation directe

Mixed-initiative UI

Objectif :

Les principes de mixte initiative UI les principaux problèmes a l’utilisation des services automatisés

dans des interfaces:


Difficulté a l’utilisateur de guider l’invocation de services automatisés

Difficulté d’affiner les résultats non optimaux générés par les services automatisés.

Le système ne peut pas deviner les objectifs et les besoins de l’utilisateur.

Considération inadéquate des coût et des avantages des actions automatisées.

Mauvais timing de l’action automatisée.

Les principes de mixte initiative UI

Les facteurs critiques pour l’intégration effective des services automatisés avec la manipulation directe:


1-L'automatisation a une valeur ajoutée significative.

2-prise en considération de l’incertitude sur les

objectifs de l’utilisateur .

3-Prise en considération de l’attention de l’utilisateur dans le choix du temps de

service .

.

4-Déduire l’action idéale en prenant compte les coûts, les avantages et les incertitudes .

5-Utilisation des boites de dialogue pour résoudre les principales incertitudes.

6-Permettre a l’utilisateur une invocation directe efficace et résiliation .

7-Minimiser le coût de mauvaise supposition sur l'action et le timing

8-Cadrer la précision de service à la hauteur de l’incertitude, variations des objectifs de l’utilisateur

9-Fournir un mécanisme pour une collaboration efficace Agent-utilisateur afin d’affiner le résultat .

10-Utilisation des agents dotés d’un comportement social pour les interactions agent-utilisateur.

11-maintenir la mémoire de travail des interactions récentes.

12-Système d’apprentissage continu

Le système LookOutIl a comme principale fonction:


LookOut

Identifier les nouveaux message ouverts

Aider les utilisateurs a concevoir ou a revoir leur calendrier et les RDV qui composent ce calendrier

Le système LookOut

Service a valeur ajoutée:


LookOut invoked

Analyse le corps et le sujet du message.Tente d’identifier une date et une heure associées à un évènement dans le corps du message.prendre la date d’envoi du message comme une date de référence.Appelle le sous- système d’Outlook calendrier.Soulève le carnet de RDV de l’utilisateur.tente de remplir ce carnet.Affiche ses suppositions à l'utilisateur et permet à l'utilisateur de modifier ces suppositions et sauvegarde le résultat final.

Le système LookOut

- LookOut a des connaissances sur les modèles typiques d’expression dans un courriel électronique sur les réunions et les heures.- Le système comprend aussi les implications temporelles et les différents moments dans le future :« sometime tomorrow», «later in the week», «next week»,…. etcPrototype de la journée :«morning», «afternoon», «evening».Les événements récurrents :«at breakfast», «grab lunch», «meet for dinner»...etc.- L’analyse effectuée par Lookout réduit le nombre d'interactions et la complexité de navigation requise de l'utilisateur. - Sans Lookout, les utilisateurs doivent accéder au bouton ou d'un menu graphique approprié pour ouvrir leur calendrier, recherche pour la journée échéant, saisir les moments appropriés et remplir l'objet de la réunion.- Lookout effectue cette opération automatiquement ou par l'intermédiaire d'une seule interaction, en fonction de la modalité sélectionnée. Même quand Lookout devine incorrect, l'utilisateur est placé dans une position à peu près correcte dans le calendrier et peut affiner une estimation approximative de la nomination implicite.


Le système LookOut

Prise des décisions dans l’incertitude:En se basant sur l’en-têt, le sujet et le corps du message, lookout attribue la probabilité qu’un utilisateur souhaite consulter le calendrier ou planifier un RDV en employant un système de classification probabiliste.En fonction de la probabilité et sur une évaluation des coûts et avantages escomptés de l’action, le système décide soit de ne rien faire, mais simplement attendre la poursuite de la manipulation directe d'Outlook ou une invocation manuelle de Lookout, pour engager l'utilisateur dans un dialogue au sujet de ses intentions en ce qui concerne la fourniture d'un service.


Le système LookOut

Modalité d’interaction multiple:


LookOut

Manuel Assistance automatisée

Clique sur icone

Symbole d’alerte

Boite de dialogueAgent social

Personnage animé

Peut être configurer

Action

Le système LookOutKASSID Youssef Automne 2013 Interfaces Intelligentes


Agent Social Main libre

Text-to-speach(TTS)

Reconnaissance vocale

Engager l’utilisateur a un dialogue naturel en réduisant l’utilisation de la souris et du clavier


Evaluation des objectifs

Personnage apparait

Motionne a l’utilisateur

Préparait un calendrier

Créer un RDV Provisoire

+Evaluation des objectifs -

Renseigne sur l’intérêt de l’utilisateur

ou

soit

Voir le calendrier Voir les RDVou

LookOut attend une réponse vocale de la part de l’utilisateur

Le système LookOut

L'utilisateur peut indiquer via discours que la nomination est souhaitée avec l'une des nombreuses reconnaissances naturelles:

«yes », «yeah», «sure», «do it».

Si l'utilisateur est désintéressé: « no», «not now», «nah», «go away».




Les objectifs de l’utilisateur LookOut s’appuie sur la classification automatique de texte pour prendre des décisions sur des actions. D'autres méthodes de classification de texte ont été explorées: - le classificateur bayésien naïf de texte. - le classificateur de texte basé sur le Support Vector Machine (SVM).La version actuelle de Lookout attribue la probabilités d'intention de l'utilisateur en utilisant une classification de texte SVM basé sur une méthode d'approximation de SVM linéaire efficace développé par Platt


Les objectifs de l’utilisateur

La méthode a été couplée avec une méthodologie. Dans cette approche nous exploitons les méthodes d'apprentissage et de raisonnement sur les objectifs probable de l’utilisateur. Pour le contexte d’un utilisateur revoie un email, nous souhaitons attribuer une probabilité que ce message e-mail qui vient de recevoir l'attention est dans la catégorie d’objectif que «l'utilisateur voudra planifier ou revoir un calendrier de cet e-mail" par rapport à la catégorie d’objectif que «l'utilisateur ne voudra pas planifier ou revoir un calendrier de cet e-mail" basé sur le contenu des messages.


Les objectifs de l’utilisateur

Un classificateur linéaire SVM est construit par la formation du système sur un ensemble de messages qui sont pertinents et non pertinents. Lors de l'exécution, pour chaque message e-mail en cours d’analyse, la procédure de rapprochement linéaire de SVM émet la probabilité que l'utilisateur voudra mettre en place un calendrier ou un rendez-vous. La version actuelle de Lookout a été formée initialement d’ environ 1000 messages, divisés en 500 messages dans les messages non pertinents et 500 dans les messages pertinents.


Certitude et action Quelles actions automatisées devraient

être prises?Les actions automatisées ne devraient être prises que lorsqu'un agent croit qu'ils auront plus de valeur attendue que l'inaction pour l'utilisateur, en tenant compte les objectifs de l'utilisateur.


Certitude et action

Actions, intentions et résultats:Dans LookOut la probabilité qu’un utilisateur désire un agenda est calculé à partir des indices dans des modèles de texte contenues dans un message qui a été récemment ouvert.


Certitude et action

Pour les décisions concernant l'action ou l'inaction, il faut considérer quatre résultats déterministes:


Desired Goal Not Desired

Certitude et action

On calcule l’utilité attendue pour prendre une action automatisée par la combinaison des résultats des utilités dans le cas ou l’utilisateur désire un agent pour lui fournir un service ou non, pondéré par la probabilité de chaque résultats :

eu(A|E)=p(G|E)u(A,G) + p(¬G|E) u(A,¬G) (1)en notant que : p(G|E)=1-p(¬G|E) Alors , l'utilité attendue de fournir un service autonome est: eu(A|E)=p(G|E)u(A,G) + [1-p(G|E)] u(A,¬G) (2)

L’utilité attendue de ne pas agir d’une manière autonome est : eu(¬A|E)=p(G|E)u(¬A,G) + [1-p(G|E)]u(¬A,¬G) (3)*

p(G|E) : la réalisation de G dépend de la réalisation de E.


Certitude et actionKASSID Youssef Automne 2013 Interfaces Intelligentes

Certitude et action

L'utilité espérée et les seuils d’action d’un agent : en regardant le graphe précèdent on observe qu’il y a un point d’intersection entre les 2 lignes, c’est le seuil de la probabilité p* ou la valeur attendue d’action ou d’inaction sont égaux.

Si p(G|E) > p* le système doit faire une actionSi p(G|E) < p* ne pas faire une actionSi p(G|E) = p* équation (2) = équation (3) Le système doit juste comparer p* et p(G|E) pour décidé quoi

faire.


Certitude et action

Ce graphe montre comment p* peut être changer selon le changement du contexte. Dans ce cas, l'augmentation de l'utilité d'agir u(A,¬G) lorsque le service n'est pas désirée conduit à une diminution de la probabilité de seuil.


Certitude et action

Le Dialogue est une option pour agir :


Certitude et action

On peut considérer l'action de demander aux utilisateurs de leurs objectifs.

u(D,G): le cas où un agent initie un dialogue sur un objectif et que l'utilisateur désire réellement l'objectif. u(D,¬G): et le cas où l'utilisateur ne désire pas l’objectif.

L'utilité de s'engager dans un dialogue avec un utilisateur lorsque l'utilisateur ne dispose pas d’un objectif est généralement supérieure à l'utilité d'effectuer une action lorsque l'objectif n'est pas souhaité.l'utilité de dialoguer avec un utilisateur avant d'effectuer une action souhaitée est généralement plus petit que l'utilité de réaliser une action désirée lorsque l'utilisateur a un l'objectif.


Certitude et action

Nous voyons que l'action peut être guidée par deux nouvelles probabilités de seuils: le seuil entre l'inaction et le dialogue, p*¬A,D , et le seuil entre dialogue et d'action, p*D,A. Ces deux seuils constituent un indice d'agir, d’engager l'utilisateur dans un dialogue, ou de ne rien faire, en fonction de la probabilité estimée que l'utilisateur possède un objectif.


L’attention utilisateur et le timing de service: L’activité automatisée peut être déclenchée avant que l’utilisateur soit prêt ce qui peut être gênant. Les retards dans la fourniture de services peuvent diminuer la valeur de l'automatisation.Solution: Ajouté d’un instrument à Lookout pour surveiller le temps écoulé entre l’analyse des messages et l'invocation manuelle des services de messagerie. Ces données recueillies de plusieurs utilisateurs permettent de construire un modèle temporel centré d'attention.


L’attention utilisateur et le timing de service:KASSID Youssef Automne 2013 Interfaces Intelligentes

Machine pour l’apprentissage continu: LookOut est conçu pour continuer a apprendre auprès des utilisateurs, en observant l’utilisateur travailler sur email.

LookOut enregistre le temps pris par l’utilisateur avant l’invocation d’un service.

L'utilisateur peut spécifier une politique d’apprentissage continu. L’utilisateur dicter un programme de formation qui guide le

système d’une façon périodique afin d'affiner le modèle probabiliste et le modèle d’attention basé sur le temps.


ConclusionDurant cette présentation on vu :* Les principes pour la conception utilisateur-interfaces initiative mixte qui traite des problèmes systématiques avec l'utilisation d'agents qui peuvent souvent deviner les besoins de l'utilisateur.*Les interfaces qui permettent aux utilisateurs et aux agents intelligents de collaborer efficacement.*le principe de système de Lookout.*La combinaison élégante des agents automatisés et la manipulation directe.


Merci de votre attention


Documents

Principles of Mixed-Initiative User Interfaces