Ambient Intelligence - SyncRealsyncreal.de/wp-content/uploads/sites/2/2014/06/AmI-02-Interaction.pdf · Paradigmen Übersicht Ambient Intelligence Interaction Paradigms Desktop Computer

Ambient Intelligence

#2 Interaction Design

05.05.2014

Dr.-Ing. Christoph Stahl

Eigenschaften von AmI

• Die wesentlichen Eigenschaften von Ambient Intelligence

Systemen sind:

Embedded Devices sind in die Umgebung integriert und

vernetzt.

Kontextsensitive Geräte erkennen Situation der Nutzung.

Personalisierbare Geräte lassen sich an die individuellen

Bedürfnisse des Nutzers anpassen.

Adaptive Geräte passen sich selbstständig an den Nutzer

und die jeweiligen Aufgaben an.

Pro-aktive Systeme versuchen die Pläne und Absichten des

Nutzers zu antizipieren.


Übersicht

• Interaction Design

Paradigmen

► Bestimmte Ansätze der Vorgehensweise, bezüglich der

zugrundeliegenden Annahmen und Konzepte

» PC, VR, Mixed Reality, Ubiquitous Computing, etc.

Interface Metaphern

► Schreibtisch, Virtuelle Charaktere

• Intelligente Benutzerschnittstellen

Adaptive Systeme

► Benutzer, Kontext und Aktivität

Zielorientierte Interaktion

Multimodal

► Beispiel SmartKom: Sprache, Zeigegesten, Emotionen


Paradigmen

Interaction Design


Paradigmen Übersicht


Interaction Paradigms

Desktop

Computer WIMP

All virtual

Ubiquitous Computing Context awareness relates to real world

Mixed Reality Some real, some virtual

Virtual Reality All virtual, immersive

experience

Dual Reality Two complete realities that

can influence each other

by sensor- actuator

networks

Mobile Computing PDA, Smartphone, TabletPC

Location-Awareness

Pervasive Computing Middleware, networks

Intelligent Environments Sensor-based, implicit interaction

Ambient Intelligence User-Centered Design

Ambient Assisted Living Care for elderly

Tangible Interfaces Comp. augmentation into the physical

environment

Internet of Things Thing-to-thing interaction

REAL WORLD VIRTUAL WORLD

Augmented Reality All real, some virtual

Collaborative Interfaces Social Computing, CSCW

Wearable Computing clothes, glasses, jewelery, implants

Technology transfer

Strong Influence

Specialization

Personal Computer (PC)

• WIMP / GUI Interface

Windows: Verschiedene Programme können gleichzeitig

laufen, frei angeordnet werden

Icons: Repräsentieren Programme und Dateien

Menus: Listen von Optionen und Funktionen

Pointing Device: Typischerweise eine Maus, aber auch

Trackball, Stift oder Finger

• XEROX Alto (1973)

Erste Workstation

mit WIMP GUI und Maus ► http://www.catb.org/esr/writings/taouu/html/ch02s05.html


Personal Computer: Mac

• Macintosh Finder in 1985


Windows

Icons

Menus

Pointer

Virtual Reality

• VR zielt darauf, den Benutzer künstliche Welten so echt wie

möglich erleben zu lassen

z.B. mit Oculus Rift Head-Mounted-Display

► 90°Sichtfeld, Stereoskopisches 3D

► Head-Tracking

» Beschleunigungssensoren, Magnetometer, Kamera


Augmented Reality

• Der Benutzer blickt durch ein Display (z.B. Smartphone) auf

die reale Welt, in die digitale Informationen an passender

Stelle eingeblendet werden.

z.B. mit Hilfe von Markern und dem ARToolKit (links)

Z.B. mit Hilfe von GPS: Nokia City Lens App (rechts)

Dual Reality

• Symmetrie zwischen Realer und Virtueller Welt

Josh Lifton at MIT is interested in virtual worlds like Second

Life. He animates virtual worlds based on sensor networks in

the real world, to make them more interesting.

Dual Reality

http://www.media.mit.edu/resenv/dual_reality_lab/

Duale Realität im BAALL

• Symmetrie zwischen realer und virtueller Welt

Virtuelle Welt

Reale Welt

Duale Realität

Home Automation

Steuerung

Visualisierung

Duale Realität im BAALL

Wearable Computing

• Hardware wird am Körper getragen oder in Kleidung

integriert; im Gegensatz zu PDA stets aktiv

Remembrance Agent, B. Rhodes 1997 (links) ► http://alumni.media.mit.edu/~rhodes/Papers/wear-ra.html

Google Glass, 2014 (rechts)

Twiddler2

Chording-keyboard

Wearable Computing

• Beispiel Mbody (Myontec)

Mshorts misst Muskelanspannung am Oberschenkel


weitere

Wearables:

Tangible User Interfaces



• Tangible User Interfaces (TUIs) give physical forms to

digital information and computation (Ishii, 2008a).

The physical forms serve as both representations and

controls for their digital counterparts, facilitating the direct

manipulation of bits with our hands.

TUIs are built upon people’s sophisticated skills for sensing

and manipulating their physical environments, which are not

employed in graphical user interfaces.

Ishii (2008b) describes typical TUI applications that combine

haptic input and projected visual output, allowing the user to

sculpt and manipulate digital information through tangible

media, such as clay, sand, or building models, for example.

Reactable uses pucks on a touch-sensitive table surface to

control sound and music.



• Beispiel Reactable


https://www.youtube.com/watch?v=I9AeUISg-Og&list=PLBEBF9C43496ADC50

Ubiquitous = Allgegenwärtige Computer

Zeit

Verb

reitung

Rechenzentrum

1 Computer

Viele Nutzer

PC

1 Computer

1 Nutzer

Ubicomp

Viele Computer

1 Nutzer

2000 2020 1980 1960

1992: Windows 3.1

Marc Weiser

The computer for the 21st century

Article in Scientifc American 1991

2007: Apple iPhone Abgabe von Lochkarten zur Programmierung

Ubiquitous Computing

• Ubiquitous Computing wurde 1992 von M. Weiser geprägt

Neue Geräteklassen zur Kollaboration im Büro (CSCW)

unabhängig vom PC

► ParcTab (links), entspricht Smartphones

» R. Want et al.: The ParcTab Ubiquitous Computing Experiment http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.331.6451&rep=rep1&type=pdf

► ParcPad (mitte), entspricht Tablets

► LiveBoard (rechts)


Weitere Informationen über Mark Weiser und Ubicomp: http://www.ubiq.com/weiser/weiser.html

Pervasive Computing

• Pervasive Computing

Im Vergleich zu Ubicomp stehen nahtlose Integration und

Vernetzung der Geräte im Vordergrund

► Netzwerke

► Middleware

► Cloud Computing

• Anmerkung: Die Grenzen verschwimmen mehr und mehr

zwischen den Paradigmen von Ubiquitous-, Pervasive-,

Mobile- und Wearable Computing.

Mobile Geräte und Smart-TVs integrieren heute so viele

Technologien wie nie zuvor, und vereinen damit die

verschiedenen Ansätze.


Interface Metaphern

Interaction Design


Interface Metaphern


Embodied conversational agents Conversational abilities

Anthropomorphic Interfaces

Animatronic Interfaces Aibo, Nabaztag, Pleo, Paro

Interface Metaphors

Desktop 2D Navigation

Windows/Icons/Menus/Pointer

Virtual Characters Figures in virtual environments

Augmented Artifacts RFID, Sensor nodes

Virtual Environments 3D Navigation

Avatar Human agent

Virtual Human Realistic human appearance

Nachteil: uncanny valley

Lifelike Character Suspension of disbelief

REAL WORLD VIRTUAL WORLD

Telepresence Robot as avatar

Desktop Metapher

• Ergänzt WIMP um Konzepte vom Schreibtisch kennt

Dokumente, Ordner, Papierkorb sind dem Nutzer vertraut

• XEROX Star (1981)

Zahlreich kopiert

► Lisa / Mac (1983)

► X (1984)

► Windows 1.0 (1985)

► Workbench (1985)

Bis heute erfolgreich

► >30 Jahre!


Desktop Metapher

• Macintosh Finder in 1985


Papierkorb

Drucker

Taschenrechner

Metapher: CD-Spieler


Virtuelle Charaktere

• Einige Beispiele für Konversation mit virtuellen Charakteren


Peedy (Microsoft) Anna (IKEA)

VirtualHuman (DFKI / BMBF)

Uncanny Valley

• Sind Roboter oder virtuelle Charaktere einem Menschen zu

ähnlich, werden sie uns unheimlich (uncanny)


Quelle: Wikipedia

Animatronik

• Verwenden Robotik zur Animation

• Teils anthropomorphe (menschliche) Züge

• Berührung und Bewegung als Modalitäten, teils Sprache

• Erfolgreicher Einsatz zur Therapie (Kinder, Senioren)


Aibo (Sony) Pleo (Jetta) Huggable (MIT)

Robbe Paro

Anthropomorphe Produkte

• Beispiel Digitaler Sommelier (DFKI)

Bei der Herausnahme einer Flasche aus dem

instrumentierten Regal stellt sich das Produkt per

Sprachausgabe dem Kunden vor.

Auf einem Monitor werden die Eigenschaften des

herausgenommenen Weins angezeigt, sowie seine

aktuelle Temperatur.

Werden zwei Flaschen gleichzeitig aus dem Regal

genommen, so erscheint auf dem Monitor eine

Vergleichstabelle mit den Eigenschaften beider Produkte.

Beim Betrachten der Rückseite des Produkts wird auf dem

Monitor automatisch die Webseite des Herstellers geöffnet.


Anthropomorphe Produkte

• Beispiel Digitaler Sommelier (DFKI)


Anthropomorphe Objekte

• Sprechender Cocktail-Shaker (DFKI)

http://www.dfki.de/web/aktuelles/dfki-newsletter/nl27_de.pdf


Telepräsenzroboter

• Z.B. von Giraff

http://www.giraff.org/?lang=en#

Willow Garage‘s Texai robot in

Big Bang: "The Cruciferous Veg„

Adaptive Systeme

Intelligente Benutzerschnittstellen


Adaption an Benutzer

• Definitionen

A User Model is a knowledge source in a natural-language

dialog system which contains explicit assumptions on all

aspects of the user that may be relevant to the dialog

behavior of the system.

► (Wahlster & Kobsa, 1989)

Adaptable Systems can be manually configured by the

user according to their preferences.

A User-Adaptive System is an interactive system that

adapts its behavior to individual users on the basis of

processes of user model acquisition and application that

involve some form of learning, inference, or decision making.

► (Jameson, 2006)



• Schema für die Verarbeitung von Informationen über den

Benutzer in einem Adaptiven System. (Jameson, 2006)


USER MODEL

USER MODEL ACQUISITION USER MODEL APPLICATION

PREDICTIONS ORDECISIONS ABOUT U

INFORMATIONABOUT U


• UAS unterstützen bei der

Bedienung/Nutzung eines Systems

► Unterstützung bei lästigen Routineaufgaben, z.B. Spam Filter

► Anpassung der Schnittstelle, z.B. häufig genutzte Funktionen

wandern nach oben im Menü (Nachteil: Inkonsistent)

► System gibt aktiv Ratschläge zur Bedienung (z.B. Peedy)

► Anpassung von Spracheingabe an Umgebungsgeräusche,

Reduktion auf Ja/Nein Fragen

Suche nach Informationen

► Wissen über Interessen des Nutzers hilft bei der Suche

► Anpassung der Präsentation von Suchergebnissen an die

Bildschirmgröße, z.B. Reduktion auf mobilen Displays

► Vorschläge basierend auf Entscheidungen anderer Nutzer,

z.B. ähnliche oder beliebte Produkte (z.B. bei Amazon)



• Herausforderungen

Vorhersehbarkeit und Transparenz

► Änderungen an der Oberfläche können Verwirrung stiften

Kontrolle über Anpassungen

► Bestätigung von Anpassungen durch den Benutzer

Unaufdringlich

► Zu häufige Vorschläge lenken Aufmerksamkeit von der

eigentlichen Aufgabe ab.

Datenschutz

► Konflikt mit Werbeinteressen


Adaption an Situation und Kontext

• Context-aware computing is the ability of a mobile user's

applications to discover and react to changes in the

environment they are situated in. (Schilit and Theimer,

1994)

• Klassifikation von Kontext (Dix, 2000)

Infrastructure: network bandwidth, reliability, and display

resolution.

System: other devices, applications, and users.

Domain: application domain, style of use, and identification

of user.

Physical: physical nature of the device, environment, and

location.


Adaption an Situation und Kontext

• Definition von Kontext nach A. Dey (2001):

Context is any information that can be used to characterize

the situation of an entity. An entity is a person, place, or

object that is considered relevant to the interaction between

a user and an application, including the user and

applications themselves.

► Bei mobilen Geräten ist der Ort ganz wesentlich (Location-

Based Services)

A system is context-aware if it uses context to provide

relevant information and/or services to the user, where

relevancy depends on the user’s task.

► presentation of information and services to a user

► automatic execution of a service for a user

► tagging of context to information in order to support retrieval


Kontext im Fahrzeug: Smart Destinations

XEROX parc Heute

• Contextually intelligent systems can do better than be

triggered by current context; they can:

combine information about the current situation from

calendar, email, and location — along with statistical models

of past behavior — to proactively predict future situations;

and

accurately target information to personal preferences,

interests, and activities.

• The result? Services that can help us reach each other at

convenient times to talk, conserve energy resources,

remember meetings and other important events in our lives,

coach us about healthy life choices, and so on. Quelle: http://blogs.parc.com/blog/2010/09/its-time-to-reap-the-context-aware-harvest/


Aktivitätserkennung

Semantic Cookbook

Rezepte Erkennen

idle

v1

v2

0.09, enter kitchen

0.11, enter kitchen

1.0, turn lights on

v3

0.4, move to fridge

0.8, other 0.6, other

v4

0.5, pick eggs

v9

0.21, pick whisk

v7 0.7, pick pan

v11

v19

0.25, use whisk incorrectly

0.75, use whisk correctly


v20 0.8, use whisk incorrectly

v8 v17

0.6, use whisk correctly 0.09,

pick whisk

v16

0.4, stir eggs

v10 0.06, fry

eggs

v14

0.54, fry eggs

v15

0.95, fry eggs

0.05, stir eggs

v18

0.2, dispose eggs

0.3, other

have good fried eggs

have bad fried eggs

have scrambled eggs

have inedible mayonnaise

dispose eggs

have tasty mayonnaise

have icky mayonnaise

v12

v13

out of kitchen with lights off

out of kitchen with lights on

v5

1.0, leave kitchen

v6

1.0, none

0.09, turn lights off

0.011, leave kitchen

0.099, leave kitchen


Plan Bibliothek: Eier zubereiten

v14 have good fried eggs

idle

v1

v2 v3 v4

v9

v7

v11

v19

v20

v8 v17

v16

v10 v15

1, idle v18

have bad fried eggs

have scrambled eggs

have inedible mayonnaise

dispose eggs

have tasty mayonnaise

have icky mayonnaise

v12

v13

out of kitchen with lights off

out of kitchen with lights on

v5

v6

1, idle




0.05, fry eggs

0.95, stir eggs


0.8, dispose eggs

2

Turn off lights active intervention

3 Propose alternative plan „scrambled eggs“ passive decision support

4

Advise disposal of eggs passive decision support

5 Explain use of whisk passive decision support

1

Turn on lights on behalf of the user active anticipation

0.8, dispose eggs



Drei Arten von Assistenz

Ontology

User Model

Plans

Activity Model

Rules

Plan Recognition

Activity Adaptation

Explanation

User Adaptation

Lo

catio

n M

od

el

UA

S

AA

S

Adaptive Systeme

• User-Adaptive (UAS) vs. Activity-Adaptive Systems (AAS)




COGNITIVE ACTIVITY

GOALS

INTENTION

ACTION

SPECIFICATION INTERPRETATION

EXECUTION PERCEPTION

EVALUATION

Klassisches Interaktionsmodell

COMPUTATIONAL ACTIVITY

USER

SYSTEM


• Am Beispiel Projekt EMBASSI (2001)

Dialogmanager übersetzt Anfragen des Benutzers in Ziele

Assistenz-Komponente erstellt Pläne, um Ziele zu erreichen


Quelle: Heider and Kirste, 2002:597

COGNITIVE ACTIVITY

GOALS

INTERPRETATION

PERCEPTION

EVALUATION


COMPUTATIONAL ACTIVITY

USER

SYSTEM ASSISTANCE

INTENTION

GOAL

SPECIFICATION

ACTION

PLANNING

EXECUTION

REQUEST

Multimodale Interaktion



SmartKom`s SDDP Interaction Metaphor

SDDP = Situated Delegation-oriented Dialogue Paradigm

Anthropomorphic Interface = Dialogue Partner

User

specifies goal

delegates task

cooperate

on problems

asks questions

presents results

Service 1

Service 2

Service 3

Personalized

Interaction Agent

Wahlster et al. 2001 , Eurospeech: http://www.dfki.de/~bert/eurospeech-01.pdf

http://www.dfki.de/~bert/eurospeech-01.pdf



Multimodale Eingabe und Ausgabe

• Zahlreiche Kanäle


Input

Speech Gestures Facial

Expressions

Multimodal Fusion

Symmetrische Multimodalität

• Symmetric multimodality means that all input modes (speech, gesture,

facial expression) are also available for output, and vice versa

Output

Speech Gestures Facial

Expressions

Multimodal Fission

USER

SYSTEM

I‘d like to

reserve tickets

for this movie. Where would

you like to

sit?

I‘d like

these two

seats.

Dialog mit einem virtuellen Agenten

User Input:

Speech and Gesture

Smartakus Output:

Speech, Gesture and

Facial Expressions

User Input:

Speech and Gesture

• Reservierung eines Kinotickets mittels Sprache und Gestik

Unification of Scored Hypothesis Graphs

Word Hypothesis

Graph with

Acoustic Scores

Clause and

Sentence

Boundaries

with Prosodic

Scores

Scored

Hypotheses

about the User‘s

Emotional State

Gesture Hypothesis

Graph with Scores

of Potential

Reference Objects

Intention Recognizer Selection of Most Likely Interpretation

Modality Fusion Mutual Disambiguation

Reduction of Uncertainty

Intention Hypotheses Graph

Using Facial Expression Recognition

Processing ironic or sarcastic comments

(1) Smartakus: Here you see the CNN program for tonight.

(2) User: That’s great.

(3) Smartakus: I’ll show you the program of another channel for tonight.

(2’) User: That’s great.

62

Zielorientierte Sprache im Auto

What's the

temperature

in the car?

Please close

my window

partially.

Open all

windows! Set the

temperature

at 22 degrees!

Warmer seat

please! I'm cold.

Multimodale Interaktion im Auto

• Disambiguation von gesprochenen Äußerungen je nach

Kontext im Fahrzeug (Haptik)

Scheibenwischer vs. Tempomat

63

„Schneller!“ „Schneller!“


• Sensoren und Aktoren im Auto

Sensoren

► Mikrofon (Spracheingabe)

► Taster (Fenster, Klima, etc.)

► ZBE (Kontextabhängig)

► Lenkrad

► Bremse

Aktoren

► Fenster

► Klima

► Sitzheizung, -Position

• Kommunikation über CAN

(Controller Area Network) Bus



• Disambiguierung von Sprache und Haptik je nach Kontext

Results of the experiment with respect to the driving performance (ISO

standardized Lane Change Task)

Subjective rating of demand (Driver Activity Load Index

based on NASA TLX)

Sandro Castronovo, Angela Mahr, Margarita Pentcheva, Christian Müller:

Multimodal Dialog in the Car: Combining Speech and Turn-And-Push Dial to

Control Comfort Functions. Proceedings of Interspeech ’10, 510-513

Pizza Szenario


Sprachsteuerung SIRI


Sprachsteuerung SIRI

• Die Realität sieht oft anders aus:


Literatur

• Siehe Referenzen auf den Folien


Documents

Ambient Intelligence - SyncRealsyncreal.de/wp-content/uploads/sites/2/2014/06/AmI-02-Interaction.pdf · Paradigmen Übersicht Ambient Intelligence Interaction Paradigms Desktop Computer