An architecture for gesture-based control of mobile robots

8/9/2019 An architecture for gesture-based control of mobile robots

1/7

A n A r c h i t e c t u r e f o r G e s t u r e - B a s e d C o n t r o l o f M o b i l e R o b o t s

S o s h i I b a , J . M i c h a e l V a n d e W e g h e , C h r i s t i a a n J . J . P a r e d i s , a n d P r a d e e p K . K h o s l a

T h e R o b o t i c s I n s t i t u t e

T h e I n s t i t u t e f o r C o m p l e x E n g i n e e r e d S y s t e m s

C a r n e g i e M e l l o n U n i v e r s i t y

P i t t s b u r g h , P A 1 5 2 1 3

A b s t r a c t

G e s t u r e s p r o v i d e a r i c h a n d i n t u i t i v e f o r m o f i n -

t e r a c t i o n f o r c o n t r o l l i n g r o b o t s . T h i s p a p e r p r e s e n t s

a n a p p r o a c h f o r c o n t r o l l i n g a m o b i l e r o b o t w i t h h a n d

g e s t u r e s . T h e s y s t e m u s e s H i d d e n M a r k o v M o d e l s

( H M M s ) t o s p o t a n d r e c o g n i z e g e s t u r e s c a p t u r e d w i t h

a d a t a g l o v e . T o s p o t g e s t u r e s f r o m a s e q u e n c e o f

h a n d p o s i t i o n s t h a t m a y i n c l u d e n o n - g e s t u r e s , w e h a v e

i n t r o d u c e d a \ w a i t s t a t e " i n t h e H M M . T h e s y s t e m

i s c u r r e n t l y c a p a b l e o f s p o t t i n g s i x g e s t u r e s r e l i a b l y .

T h e s e g e s t u r e s a r e m a p p e d t o r o b o t c o m m a n d s u n d e r

t w o d i e r e n t m o d e s o f o p e r a t i o n : l o c a l a n d g l o b a l c o n -

t r o l . I n t h e l o c a l c o n t r o l m o d e , t h e g e s t u r e s a r e i n t e r -

p r e t e d i n t h e r o b o t ' s l o c a l f r a m e o f r e f e r e n c e , a l l o w i n g

t h e u s e r t o a c c e l e r a t e , d e c e l e r a t e , a n d t u r n . I n t h e

g l o b a l c o n t r o l m o d e , t h e g e s t u r e s a r e i n t e r p r e t e d i n t h e

w o r l d f r a m e , a l l o w i n g t h e r o b o t t o m o v e t o t h e l o c a t i o n

a t w h i c h t h e u s e r i s p o i n t i n g .

1 I n t r o d u c t i o n

A n i m p o r t a n t a s p e c t o f a s u c c e s s f u l r o b o t i c s y s -

t e m i s t h e H u m a n - M a c h i n e I n t e r a c t i o n . I n t h e e a r l y

y e a r s o f r o b o t i c s , t e a c h p e n d a n t s w e r e t h e m o s t c o m -

m o n m o d e o f i n t e r a c t i o n . A s s o f t w a r e c a p a b i l i t i e s i m -

p r o v e d , t h e a b i l i t y t o d o o - l i n e p r o g r a m m i n g p r o v e d

t o b e a s i g n i c a n t s t e p f o r w a r d . I n t e r f a c e s t o m a -

n i p u l a t o r s y s t e m s m a d e f u r t h e r p r o g r e s s w i t h t h e i n -

t r o d u c t i o n o f u s e r f r i e n d l y p r o g r a m m i n g p a r a d i g m s

f o r s e n s o r - b a s e d m a n i p u l a t i o n [ 7 ] . T h e c u r r e n t s t a t e -

o f - t h e - a r t i n m a n i p u l a t o r i n t e r a c t i o n i s b a s e d o n a n

i c o n i c p r o g r a m m i n g [ 2 ] a n d / o r p r o g r a m m i n g b y h u -

m a n d e m o n s t r a t i o n p a r a d i g m [ 4 , 1 3 ] . T h e i d e a i s t o

t r a n s f e r t h e b u r d e n o f p r o g r a m m i n g m a n i p u l a t o r s y s -

t e m s f r o m r o b o t e x p e r t s t o t a s k e x p e r t s . T h e s e t a s k

e x p e r t s h a v e e x t e n s i v e k n o w l e d g e a n d e x p e r i e n c e w i t h

r e s p e c t t o t h e t a s k , b u t m a y o n l y h a v e l i m i t e d e x -

p e r t i s e i n r o b o t i c s . T o e n a b l e t h e s e n e w u s e r s t o i n -

t e r a c t w i t h t h e r o b o t , t h e i n t e r f a c e n e e d s t o b e i n t u -

i t i v e a n d h a v e t h e a b i l i t y t o i n t e r p r e t t h e s o m e t i m e s

v a g u e s p e c i c a t i o n s o f t h e u s e r . A n e x a m p l e o f s u c h

a s y s t e m i s t h e g e s t u r e - b a s e d p r o g r a m m i n g i n t e r f a c e

d e v e l o p e d b y V o y l e s a n d K h o s l a [ 1 3 ] . T h e r o b o t s y s -

t e m o b s e r v e s t h e o p e r a t o r u n o b t r u s i v e l y w h i l e h e / s h e

i s d e m o n s t r a t i n g t h e t a s k . T h e o b s e r v a t i o n s c a n b e

b a s e d o n v i s i o n , r a n g e s e n s i n g , d a t a g l o v e s , a n d t a c -

t i l e s e n s i n g . T h e m o s t c h a l l e n g i n g a s p e c t o f s u c h a

t a s k i s t o i n t e r p r e t t h e i n t e n t o f t h e u s e r , r a t h e r t h a n

s i m p l y m i m i c k i n g h e r a c t i o n s . I n o r d e r t o c a p t u r e i n -

t e n t , V o y l e s a n d K h o s l a [ 1 4 ] p r o p o s e d a n o v e l \ p o r t -

b a s e d a g e n t " a r c h i t e c t u r e . T h i s b u i l d s o n t h e n o t i o n

o f \ p o r t - b a s e d o b j e c t s " i n t r o d u c e d i n [ 1 2 ] a n d u s e s a

m u l t i - a g e n t f r a m e w o r k t o d e t e r m i n e t h e u s e r ' s i n t e n t .

C a p t u r i n g t h e i n t e n t o f t h e u s e r i s a n i m p o r t a n t r e -

s e a r c h i s s u e f o r c r e a t i n g n e w p r o g r a m m i n g a n d i n t e r -

a c t i o n p a r a d i g m s f o r i n t e l l i g e n t s y s t e m s . O u r r e s e a r c h

i n g e s t u r e - b a s e d p r o g r a m m i n g i s a s t e p t o w a r d s t h i s

l o n g - t e r m g o a l .

A s r o b o t s e n t e r t h e h u m a n e n v i r o n m e n t a n d c o m e

i n c o n t a c t w i t h i n e x p e r i e n c e d u s e r s , t h e y n e e d t o b e

a b l e t o i n t e r a c t w i t h t h e s e u s e r s i n a m u l t i - m o d a l

f a s h i o n | k e y b o a r d a n d m o u s e a r e n o l o n g e r a c c e p t -

a b l e a s t h e o n l y i n p u t m o d a l i t i e s . I n t h i s p a p e r , w e

i n v e s t i g a t e t h e p o s s i b i l i t y o f h a n d g e s t u r e s a s a r i c h i n -

p u t m o d a l i t y f o r i n t e r a c t i n g w i t h m o b i l e r o b o t s . H o w -

e v e r , t h i s i s o n l y a r s t s t e p t o w a r d s a c o m p r e h e n s i v e

m u l t i - m o d a l h u m a n m a c h i n e i n t e r f a c e f o r i n t e r a c t i o n

w i t h m u l t i p l e r o b o t s . M u l t i - r o b o t s y s t e m s r e q u i r e a

m u c h r i c h e r f o r m o f i n t e r a c t i o n t o a l l o w t h e u s e r t o

s p e c i f y c o n c i s e l y w h a t t h e g o a l s o f t h e r o b o t t e a m

s h o u l d b e , a n d t o p r o v i d e a d d i t i o n a l f e e d b a c k d u r i n g

t h e e x e c u t i o n w i t h r e s p e c t t o g r o u p i n g , f o r m a t i o n , a n d

c o l l a b o r a t i o n .

N a k a m u r a e t a l . [ 9 ] d e v e l o p e d a h u m a n - t o - m u l t i -

r o b o t i n t e r f a c e s y s t e m , w h e r e i n t e r a c t i o n c a n o c c u r

e i t h e r a t t h e l e v e l o f a n i n d i v i d u a l r o b o t o r a g r o u p o f

r o b o t s . T h e i n t e r a c t i o n i s p e r f o r m e d t h r o u g h a m o u s e


2/7

a n d k e y b o a r d , a n d t h e r o b o t s a r e s u p e r v i s e d b y a C C D

c a m e r a m o u n t e d o n t h e c e i l i n g . H o w e v e r , t h e i n t e r a c -

t i o n i s n o t i n t u i t i v e e n o u g h t o b e e x t e n d e d t o n o n -

e x p e r t s . C o m p a r e d t o a m o u s e a n d k e y b o a r d , h a n d

g e s t u r e s h a v e h i g h r e d u n d a n c y t o c o n v e y g e o m e t r i c

a n d t e m p o r a l d a t a . T h e y a r e r i c h i n v o c a b u l a r y w h i l e

b e i n g i n t u i t i v e t o u s e r s . T h e s e f e a t u r e s m a k e h a n d

g e s t u r e s a n a t t r a c t i v e t o o l t o i n t e r a c t w i t h r o b o t s .

W e h a v e d e v e l o p e d a g e s t u r e s p o t t i n g a n d r e c o g -

n i t i o n a l g o r i t h m b a s e d o n a H i d d e n M a r k o v M o d e l

( H M M ) . H M M s a r e c o m m o n l y u s e d i n s p e e c h a n d

h a n d w r i t i n g r e c o g n i t i o n , a n d h a v e r e c e n t l y b e e n a p -

p l i e d t o g e s t u r e r e c o g n i t i o n [ 5 , 1 1 ] . W e p u r p o s e l y u s e

t h e t e r m ' s p o t t i n g ' i n a d d i t i o n t o ' r e c o g n i t i o n ' t o e m -

p h a s i z e t h e i m p o r t a n c e o f s p o t t i n g a g e s t u r e f r o m a

s e q u e n c e o f d a t a c o n t a i n i n g b o t h g e s t u r e s a n d n o n -

g e s t u r e s . I t i s e s s e n t i a l f o r a g e s t u r e - b a s e d r o b o t c o n -

t r o l s y s t e m t o a v o i d s e n d i n g i n a d v e r t e n t c o n t r o l s i g -

n a l s t o t h e r o b o t .

R e l a t e d r e s e a r c h i n t h e e l d o f g e s t u r e - b a s e d

h u m a n - r o b o t i n t e r a c t i o n i n c l u d e s w o r k b y B o e h m e e t

a l [ 1 ] a n d W a l d h e r r e l a l . [ 1 5 ] . B o e h m e d e v e l o p e d

a s y s t e m i n w h i c h t h e r o b o t r e l i a b l y d e t e c t s g e s t u -

r a l c u e s g i v e n b y t h e u s e r . H i s w o r k f o c u s e s o n i m -

p r o v i n g t h e r o b u s t n e s s o f t h e i n t e r f a c e b y r s t i d e n -

t i f y i n g p o t e n t i a l u s e r s t h r o u g h a m u l t i p l e q u e u e a p -

p r o a c h . W a l d h e r r ' s s y s t e m d e t e c t s m o t i o n g e s t u r e s

b y c o m b i n i n g n e u r a l n e t w o r k a n d t e m p l a t e m a t c h i n g

a p p r o a c h e s . B o t h s y s t e m s a r e i m p l e m e n t e d o n - b o a r d

t h e r o b o t , a n d u s e a v i s i o n - b a s e d n e u r a l n e t w o r k a p -

p r o a c h t o r e c o g n i z e t h e g e s t u r e s . I n o u r w o r k , w e u s e

a d a t a g l o v e a n d e l e c t r o - m a g n e t i c 6 D O F p o s i t i o n s e n -

s o r , b e c a u s e t h e y p r o v i d e m o r e r e l i a b l e m e a s u r e m e n t s

o f t h e p o s i t i o n a n d j o i n t s . D u e t o t h e c a b l e s a t t a c h e d

t o t h e g l o v e a n d t h e p o s i t i o n s e n s o r , t h e m o b i l i t y o f

t h e u s e r i s c o n s t r a i n e d . H o w e v e r , w e e n v i s i o n t h a t

t h e d a t a g l o v e ' s c u r r e n t l i m i t a t i o n o n m o b i l i t y w i l l b e

o v e r c o m e b y t e c h n o l o g i c a l a d v a n c e s i n w e a r a b l e c o m -

p u t i n g a n d p e r s o n a l l o c a l i z a t i o n s y s t e m s .

2 S y s t e m D e s c r i p t i o n

F i g u r e 1 i l l u s t r a t e s t h e s y s t e m s e t u p . T h e s y s t e m

c o n s i s t s o f a m o b i l e r o b o t , a C y b e r G l o v e , a P o l h e m u s

6 D O F p o s i t i o n s e n s o r , a n d a g e o l o c a t i o n s y s t e m t h a t

t r a c k s t h e p o s i t i o n a n d o r i e n t a t i o n o f t h e m o b i l e r o b o t .

T h e C y b e r G l o v e a n d t h e P o l h e m u s 6 D O F p o s i t i o n

s e n s o r a r e b o t h c o n n e c t e d t o t h e g e s t u r e s e r v e r t o s p o t

a n d i n t e r p r e t g e s t u r e s . T h e u s e r c a n e i t h e r w a v e i n a

d i r e c t i o n f o r t h e r o b o t t o m o v e , o r p o i n t a t t h e d e s i r e d

d e s t i n a t i o n i n a ' p o i n t - a n d - g o ' f a s h i o n .

T h e s y s t e m w o r k s i n e i t h e r a l o c a l c o n t r o l m o d e o r

a g l o b a l c o n t r o l m o d e . U n d e r t h e l o c a l c o n t r o l m o d e ,

CCD cameras

Robot

Controller

WirelessEthernet

17

0

a

a

A

Joint angles

(CyberGlove)

HU

HUP 4,

Hand position

& orientation

(Polhemus

6DOF sensor)

tormotion vecdesired),( '' rUrU YX

Geolocation

Server

Gesture

Server

Execution of a gesture

- go there

- turn left

- stop

etc.

ndestinatiodesired),( '' rUrU YX

positionsrobot'),( rUrU YXnorientatiosrobot'4rU

F i g u r e 1 : T h e s y s t e m s e t u p

),('' r

Ur

U YX

),(r

Ur

U YX

rUv

rUZ

}{U

rUT

Xr

Yr

XU

YU

F i g u r e 2 : T h e c o n v e r s i o n o f v e l o c i t y v e c t o r s (

U

_

X

r

U

_

Y

r

) t o l i n e a r a n d a n g u l a r v e l o c i t i e s (

U

v

r

U

!

r

)

t h e g e s t u r e s e r v e r i n t e r p r e t s g e s t u r e s a s i f t h e u s e r i s i n

t h e r o b o t ' s l o c a l c o o r d i n a t e f r a m e . U n d e r t h e g l o b a l

c o n t r o l m o d e , t h e u s e r a n d t h e r o b o t a r e b o t h w o r k -

i n g i n t h e u n i v e r s a l c o o r d i n a t e f r a m e . T h e g e s t u r e

s e r v e r s p o t s t h e g e s t u r e f r o m t h e d a t a s t r e a m a n d t h e

i n t e r p r e t e r g e n e r a t e s a d e s i r e d v e l o c i t y v e c t o r , (

U

_

X

r

U

_

Y

r

) , o r a d e s i r e d p o s i t i o n , (

U

X

r

U

Y

r

) . T h e y a r e

s e n t t o t h e r o b o t a n d c o n v e r t e d t o l i n e a r a n d a n g u l a r

v e l o c i t i e s , (

U

v

r

U

!

r

) , o n - b o a r d . T h e p r o c e s s i s s h o w n

i n g u r e 2 . W h e n a d e s i r e d p o s i t i o n , (

U

X

r

U

Y

r

) , i s

s e n t t o t h e r o b o t , a p r o p o r t i o n a l c o n t r o l a l g o r i t h m i s

u s e d t o s e r v o t o t h a t p o s i t i o n .

F i g u r e 3 s h o w s t h e m o b i l e r o b o t u s e d i n t h i s e x -

p e r i m e n t . I t i s e q u i p p e d w i t h 8 s o n a r s e n s o r s , 7 I R

o b s t a c l e d e t e c t o r s , a b l a c k a n d w h i t e p a n - t i l t c a m -

e r a c a p a b l e o f t r a n s m i t t i n g a v i d e o s i g n a l v i a R F r a -

d i o , s t e r e o m i c r o p h o n e s , w i r e l e s s E t h e r n e t a n d a n o n -

b o a r d P C 1 0 4 - b a s e d i 4 8 6 P C r u n n i n g t h e L i n u x o p -

e r a t i n g s y s t e m . B o t h t r e a d s h a v e w h e e l e n c o d e r s a n d


3/7

F i g u r e 3 : T h e m o b i l e r o b o t u s e d i n t h e e x p e r i m e n t s

a r e i n d e p e n d e n t l y c o n t r o l l e d b y a P I D c o n t r o l l e r . T h e

r o b o t ' s h i g h - l e v e l c o n t r o l s o f t w a r e c a n r u n o n - b o a r d o r

o - b o a r d . F o r t h e g e s t u r e - b a s e d c o n t r o l e x p e r i m e n t ,

a g e s t u r e s p o t t e r a n d a g e s t u r e i n t e r p r e t e r a r e r u n

o - b o a r d . T h e r e s p o n s i b i l i t y o f t h e o n - b o a r d P C i s

l i m i t e d t o e x e c u t i n g m o t i o n a n d c a m e r a - c o n t r o l c o m -

m a n d s . T h e r o b o t , t h e g e s t u r e s p o t t e r / i n t e r p r e t e r ,

a n d t h e r o b o t p o s i t i o n i n g s y s t e m a r e a l l i n t e g r a t e d

w i t h i n C y b e r R A V E , a m u l t i p l e c l i e n t - s e r v e r a r c h i t e c -

t u r e f o r d i s t r i b u t e d r o b o t s [ 3 ] . C y b e r R A V E p r o v i d e s

l o w - l e v e l p r i m i t i v e s a n d d r i v e r s t o a i d t h e u s e r s i n t h e i r

d e v e l o p m e n t o f r o b o t c o n t r o l p r o g r a m s .

A g e o l o c a t i o n s y s t e m p r o v i d e s t h e r o b o t ' s l o c a t i o n

a n d o r i e n t a t i o n , (

U

X

r

U

Y

r

U

r

) , i n t h e u n i v e r s a l c o -

o r d i n a t e s o f t h e 3 b y 6 m e t e r w o r k s p a c e . A c e i l i n g -

m o u n t e d c a m e r a t r a c k s c o l o r m a r k e r s o n t h e r o b o t u s -

i n g a C o g n a C h r o m e v i s i o n s y s t e m . T h r o u g h a c a l i b r a -

t i o n p r o c e d u r e , t h e i m a g e p o s i t i o n s o f t h e m a r k e r s a r e

m a p p e d t o t h e c o r r e s p o n d i n g u n i v e r s a l c o o r d i n a t e s .

T h e g e o l o c a t i o n s e r v e r i s c a p a b l e o f s e n d i n g p o s i t i o n

a n d o r i e n t a t i o n d a t a a t a r a t e o f 1 0 H z t o c l i e n t s r u n -

n i n g t h e C y b e r R A V E i n t e r f a c e .

T h e C y b e r G l o v e i s a d a t a g l o v e t h a t m e a s u r e s 1 8

j o i n t a n g l e s o f t h e n g e r s a n d w r i s t a t 3 0 H z . T o d e t e r -

m i n e t h e w r i s t p o s i t i o n a n d o r i e n t a t i o n , w e u s e a P o l -

h e m u s 6 D O F p o s i t i o n i n g s y s t e m t h a t c o n s i s t s o f t h e

t r a n s m i t t e r a n d t h e r e c e i v e r p a i r . T h e r e c e i v e r p l a c e d

o n t h e u s e r ' s h a n d d e t e c t s t h e m a g n e t i c e l d s e m i t t e d

b y t h e x e d t r a n s m i t t e r a n d i n d u c t i v e l y t r a c k s t h e p o -

s i t i o n a n d o r i e n t a t i o n .

3 G e s t u r e R e c o g n i t i o n

T o t a k e a d v a n t a g e o f t h e t e m p o r a l c o m p o n e n t o f

g e s t u r e s , w e c h o s e t o u s e a n H M M - b a s e d r e c o g n i z e r .

A n H M M r e c o g n i z e r c l a s s i e s t i m e s e q u e n c e s o f f e a -

t u r e s . F o r e a c h n e w d a t a p o i n t i n a c o n t i n u o u s s t r e a m

t

A

ta

a

17

0

tF

tf

f

9

0

t

D

td

d

19

0

codewordt

c

Feature

Table

Derivative

Concatenation

Vector

Quantization

Gesture

Spotter

esturelt

gGesture

Interpreter

positionpalmtH

UP

norientatiopalm4 tHU

tormotion vec),(''

r

U

r

U YX

or

ndestinatio),('' r

U

r

UYX

F i g u r e 4 : T h e d a t a o w f r o m t h e g l o v e t o t h e r o b o t

o f m e a s u r e m e n t s , o u r H M M r e c o g n i z e r d e t e r m i n e s

w h i c h g e s t u r e i s c u r r e n t l y b e i n g e x e c u t e d . I n t h i s s e c -

t i o n , w e w i l l p r e s e n t t h e p r o c e s s o f d a t a r e d u c t i o n a n d

g e s t u r e s p o t t i n g , a s i s i l l u s t r a t e d i n F i g u r e 4 . F o r

r e a d e r s u n f a m i l i a r w i t h H M M s , w e r e f e r t o R a b i n e r

a n d J u a n g [ 1 0 ] f o r a n e x c e l l e n t t u t o r i a l o n e v a l u a t i o n ,

e s t i m a t i o n , a n d d e c o d i n g u s i n g H M M s a s a p p l i e d t o

t h e p r o b l e m o f s p e e c h r e c o g n i t i o n .

3 . 1 D a t a p r e p r o c e s s i n g

T o i m p r o v e t h e s p e e d a n d p e r f o r m a n c e o f g e s t u r e

c l a s s i c a t i o n , w e p r e - p r o c e s s t h e 1 8 j o i n t a n g l e m e a -

s u r e m e n t s f r o m t h e d a t a g l o v e i n t w o s t a g e s . D u r -

i n g t h e r s t s t a g e , t h e 1 8 - d i m e n s i o n a l j o i n t v e c t o r ,

A

t

, i s r e d u c e d t o a 1 0 - d i m e n s i o n a l f e a t u r e v e c t o r ,

F

t

t h r o u g h t h e l i n e a r c o m b i n a t i o n s l i s t e d i n T a b l e 1 . T h i s

f e a t u r e v e c t o r i s a u g m e n t e d w i t h i t s r s t d e r i v a t i v e s

t o p r o d u c e a 2 0 - d i m e n s i o n c o l u m n v e c t o r ,

D

t

:

D

t

=

"

F

t

(

F

t

F

t 1

1 t

)

#

( 1 )

D u r i n g t h e s e c o n d s t a g e ,

D

t

i s r e d u c e d t o a o n e d i -

m e n s i o n a l c o d e w o r d t h r o u g h v e c t o r q u a n t i z a t i o n . T h e

a l g o r i t h m b y L i n d e , B u z o a n d G r a y [ 6 ] i s u s e d t o g e n -

e r a t e a c o d e b o o k t h a t m a p s t h e 2 0 - d i m e n s i o n a l i n p u t

v e c t o r t o a n i n t e g e r c o d e w o r d r a n g i n g f r o m 0 t o N 0 1

W e d e c i d e d t o u s e 3 2 c o d e w o r d s a f t e r c o n s i d e r i n g t h e

l e v e l o f d e t a i l r e q u i r e d f o r a c c u r a t e r e c o g n i t i o n a n d

a f t e r e x p e r i m e n t i n g w i t h a v a r i e t y o f v a l u e s .

T h e c o d e b o o k i s t r a i n e d o - l i n e . W e c o l l e c t e d a

r e p r e s e n t a t i v e s a m p l e o f a b o u t 5 0 0 0 m e a s u r e m e n t s

c o n t a i n i n g g e s t u r e s a n d n o n - g e s t u r e s , c o v e r i n g t h e e n -

t i r e s p a c e o f h a n d m o v e m e n t s . T h i s s u b s e t o f t h e e n -

t i r e 2 0 - d i m e n s i o n a l g e s t u r e s p a c e c o r r e s p o n d s t o h a n d


4/7

F e a t u r e D e s c r i p t i o n J o i n t A n g l e F o r m u l a

T h u m b C u r v a t u r e

6

( t h u m b 1 s t + 2 n d )

I n d e x F i n g e r C u r v a t u r e

6

( i n d e x 1 s t + 2 n d )

M i d d l e F i n g e r C u r v a t u r e

6

( m i d d l e 1 s t + 2 n d )

R i n g F i n g e r C u r v a t u r e

6

( r i n g 1 s t + 2 n d )

P i n k i e C u r v a t u r e

6

( p i n k i e 1 s t + 2 n d )

F i n g e r S p r e a d

6

( i n d e x $ m i d d l e +

m i d d l e $ r i n g +

r i n g $ p i n k i e

T h u m b A n g l e

6

( t h u m b $ i n d e x )

T h u m b R o t a t i o n t h u m b r o t a t i o n

W r i s t P i t c h w r i s t p i t c h

W r i s t Y a w w r i s t y a w

T a b l e 1 : D e n i t i o n o f t h e f e a t u r e v e c t o r .

p o s i t i o n s a n d v e l o c i t i e s t h a t a r e p h y s i o l o g i c a l l y f e a s i -

b l e . T h e s e t D

0 5 0 0 0

i s t h e n p a r t i t i o n e d i n t o 3 2 c l u s -

t e r s . T h e a l g o r i t h m b y L i n d e , B u z o a n d G r a y p e r -

f o r m s t h e e r r o r m i n i m i z a t i o n c l u s t e r i n g b y r e p e a t e d l y

e s t i m a t i n g t h e c e n t r o i d o f a c l u s t e r a n d s p l i t t i n g i t

i n t o t w o . F o r e a c h o f t h e n a l 3 2 c l u s t e r s , t h e a s -

s o c i a t e d c e n t r o i d i n t h e 2 0 - d i m e n s i o n a l f e a t u r e s p a c e

i s r e c o r d e d . A t r u n t i m e , a g i v e n f e a t u r e v e c t o r i s

m a p p e d t o t h e c o d e w o r d w i t h t h e c l o s e s t c e n t r o i d ( a s

m e a s u r e d i n E u c l i d e a n d i s t a n c e ) . C o n s e q u e n t l y , e a c h

m e a s u r e m e n t o f t h e h a n d p o s i t i o n i s r e d u c e d t o a c o d e -

w o r d , a n d a g e s t u r e b e c o m e s a t i m e s e q u e n c e o f c o d e -

w o r d s .

3 . 2 G e s t u r e s p o t t i n g u s i n g a n H M M

A f t e r p r e p r o c e s s i n g t h e d a t a , t h e g e s t u r e s p o t t e r

t a k e s a s e q u e n c e o f c o d e w o r d s a n d d e t e r m i n e s w h i c h

o f t h e s i x g e s t u r e s t h e u s e r i s p e r f o r m i n g , o r \ n o n e o f

t h e a b o v e " i f n o g e s t u r e i s b e i n g e x e c u t e d . T h e s i x

g e s t u r e s w e c h o s e t o r e c o g n i z e c o n s i s t o f :

O P E N I N G : M o v i n g f r o m a c l o s e d s t t o a a t

o p e n h a n d

O P E N E D : F l a t o p e n h a n d

C L O S I N G : M o v i n g f r o m a a t o p e n h a n d t o a

c l o s e d s t

P O I N T I N G : M o v i n g f r o m a a t o p e n h a n d t o i n -

d e x n g e r p o i n t i n g , o r f r o m a c l o s e d s t t o i n d e x

n g e r p o i n t i n g

W A V I N G L E F T : F i n g e r s e x t e n d e d , w a v i n g t o t h e

l e f t , a s i f d i r e c t i n g s o m e o n e t o t h e l e f t

W A V I N G R I G H T : F i n g e r s e x t e n d e d , w a v i n g t o

t h e r i g h t

B e i n g a b l e t o r e j e c t m o t i o n s t h a t d o n o t c o r r e s p o n d

t o a n y o f t h e s e s i x g e s t u r e s i s v e r y i m p o r t a n t . I f e v -

e r y s t r e a m o f m o t i o n d a t a w o u l d b e c l a s s i e d a s o n e

o f t h e s i x g e s t u r e s l i s t e d a b o v e , a l m o s t a n y m o t i o n o f

t h e n g e r s w o u l d r e s u l t i n i n a d v e r t e n t r o b o t a c t i o n s .

I n c l u d i n g t h e c l a s s i c a t i o n \ n o n e o f t h e a b o v e " a l l o w s

t h e u s e r t o p e r f o r m o t h e r t a s k s w h i l e w e a r i n g t h e d a t a

g l o v e , w i t h o u t t h e H M M i n t e r p r e t i n g t h e h a n d m o -

t i o n s a s r o b o t c o m m a n d s .

T h e a l g o r i t h m d e s c r i b e d i n t h i s p a p e r d i e r s f r o m

t h e s t a n d a r d f o r w a r d - b a c k w a r d t e c h n i q u e d e s c r i b e d i n

R a b i n e r a n d J u a n g ' s t u t o r i a l [ 1 0 ] i n t w o i m p o r t a n t

r e s p e c t s .

A r s t m o d i c a t i o n a l l o w s u s t o c l a s s i f y c o n t i n u -

o u s s t r e a m s o f m e a s u r e m e n t s . T h e c o r r e s p o n d e n c e

o f a n H M M , , t o a n o b s e r v a t i o n s e q u e n c e O =

O

O

2

; : : : ; O

T

c a n b e q u a n t i e d a s P r ( O j ) , w h i c h i s

t h e p r o b a b i l i t y t h a t t h e o b s e r v a t i o n s e q u e n c e i s p r o -

d u c e d b y t h e m o d e l . H o w e v e r , a s t h e l e n g t h o f t h e

s e q u e n c e g r o w s , P r ( O

O

2

; : : : ; O

1

j ) d e c r e a s e s t o

z e r o . A s o l u t i o n t o t h i s p r o b l e m i s t o l i m i t t h e o b -

s e r v a t i o n s e q u e n c e t o t h e n m o s t r e c e n t o b s e r v a t i o n s ,

O = O

t n

; : : : ; O

t

. T h e l e n g t h o f t h i s s e q u e n c e n e e d s

t o b e d e t e r m i n e d b y t h e u s e r .

T h e s e c o n d m o d i c a t i o n a l l o w s u s t o r e j e c t h a n d

m o t i o n s t h a t d o n o t m a t c h a n y o f t h e s i x m o d e l e d

g e s t u r e s . I n t h e s t a n d a r d H M M r e c o g n i t i o n a l g o -

r i t h m , t h e g e s t u r e l w i t h t h e l a r g e s t c o n d e n c e l e v e l

P r ( O j

l

) i s s e l e c t e d , w h e r e

l

i s t h e m o d e l c o r r e -

s p o n d i n g t o t h e g e s t u r e l . T h i s m e a n s t h a t o n e o f s i x

g e s t u r e s w i l l a l w a y s b e s e l e c t e d , u n l e s s a t h r e s h o l d i s

s e t t o r e j e c t a l l s i x . H o w e v e r , a t h r e s h o l d t h a t i s l a r g e

e n o u g h t o r e j e c t a l l n o n - g e s t u r e s , m a y a l s o e x c l u d e

g e s t u r e s t h a t a r e p e r f o r m e d s l i g h t l y d i e r e n t l y f r o m

t h e t r a i n i n g g e s t u r e s . T h i s i s u n a c c e p t a b l e , b e c a u s e

d i e r e n t u s e r s t e n d t o e x e c u t e g e s t u r e s d i e r e n t l y .

T o o v e r c o m e t h e s e p r o b l e m s , w e u s e d t h e H M M

g e s t u r e s p o t t e r i l l u s t r a t e d i n g u r e 5 . I t c o n t a i n s a

\ w a i t s t a t e " a s t h e r s t n o d e t h a t t r a n s i t i o n s t o a l l

t h e g e s t u r e m o d e l s a n d i t s e l f w i t h e q u a l p r o b a b i l i t y .

A l l t h e s e t r a n s i t i o n p r o b a b i l i t i e s a r e a l l e q u a l t o m a k e

t h e t r a n s i t i o n i n d e p e n d e n t o f t h e o b s e r v a t i o n .

W h e n a n e w o b s e r v a t i o n i s a p p l i e d t o t h e g e s t u r e

s p o t t e r , t h e p r o b a b i l i t y o f b e i n g i n t h e s t a t e i s u p d a t e d

f o r a l l e x i s t i n g s t a t e s . I n o t h e r w o r d s , w e u p d a t e a l l

t h e P r ( i

t

= q

i

j O

l

) , t h e p r o b a b i l i t y o f b e i n g i n

s t a t e q

i

a t t i m e t o f t h e s t a t e s e q u e n c e I ( = i

i

2

: : : i

t

)

g i v e n t h e o b s e r v a t i o n s e q u e n c e O a n d t h e m o d e l

l

o f

g e s t u r e l . N e x t , t h e s t a t e p r o b a b i l i t i e s a r e n o r m a l i z e d

s o t h a t t h e y s u m t o o n e . I f t h e o b s e r v a t i o n s e q u e n c e

c o r r e s p o n d s t o a n y o f t h e g e s t u r e s , t h e p r o b a b i l i t y o f

b e i n g i n t h e n a l s t a t e o f t h e m o d e l f o r t h i s g e s t u r e

w i l l b e h i g h e r t h a n t h a t f o r t h e o t h e r g e s t u r e s . O n

t h e o t h e r h a n d , i f t h e o b s e r v a t i o n s e q u e n c e d o e s n o t

b e l o n g t o a n y g e s t u r e s , t h e p r o b a b i l i t y o f b e i n g i n t h e


5/7

0.74

0.190.26

1.00.81

0.89

0.540.11

1.00.46

0.13

0.87

1.0

0.84

0.460.16

1.00.54

0.80

0.620.20

1.00.38

0.96

0.410.04

1.00.59

7

1

7

1

7

1

7

1

7

1

7

1

71

OPENING

NONE

WAVING

RIGHT

WAVING

LEFT

POINTING

CLOSING

OPENED

F i g u r e 5 : A n H M M w i t h a s h a r e d i n i t i a l s t a t e

\ w a i t s t a t e " w i l l b e t h e h i g h e s t d u e t o t h e n o r m a l i z a -

t i o n . I f t h e r e c e n t s e q u e n c e o f o b s e r v a t i o n s r e p r e s e n t s

a g e s t u r e , t h e e a r l i e r p a r t o f t h e s e q u e n c e i s t r a p p e d

i n t h e \ w a i t s t a t e " w h i l e s u b s e q u e n t o b s e r v a t i o n s r a i s e

t h e c o r r e c t g e s t u r e ' s p r o b a b i l i t y . T h e r e f o r e , t h e g e s -

t u r e s p o t t e r s e l e c t s t h e g e s t u r e t h a t c o r r e s p o n d s t o t h e

l a s t s t a t e w i t h t h e h i g h e s t s c o r e , o r n o g e s t u r e i f t h e

\ w a i t s t a t e " h a s t h e h i g h e s t s c o r e .

3 . 3 E x p e r i m e n t a l v e r i c a t i o n o f t h e

H M M

O u r i m p l e m e n t a t i o n o f t h e g e s t u r e s p o t t e r i s b a s e d

o n p u b l i c d o m a i n H M M C + + c o d e w r i t t e n b y M y -

e r s a n d W h i t s o n [ 8 ] . W e m o d i e d t h i s c o d e t o c a l -

c u l a t e t h e p r o b a b i l i t y f o r m u l t i p l e m o d e l s s i m u l t a n e -

o u s l y , a n d t o h a n d l e a c o n t i n u o u s d a t a s t r e a m .

B e f o r e a n H M M g e s t u r e s p o t t e r i s a b l e t o c l a s s i f y

a s e q u e n c e , i t m u s t b e t r a i n e d b y t h e u s e r . T r a i n -

i n g b y m u l t i p l e u s e r s i s d e s i r a b l e t o a c c o m m o d a t e d i f -

f e r e n t w a y s i n w h i c h u s e r s e x e c u t e g e s t u r e s . F o r e x -

a m p l e , o n e u s e r m a y e x e c u t e W A V I N G R I G H T m u c h

f a s t e r t h a n a n o t h e r . F o r e a c h o f t h e s i x g e s t u r e s , a

3 - s t a t e H M M w a s t r a i n e d s e p a r a t e l y u s i n g t h e B a u m -

W e l c h a l g o r i t h m . B e c a u s e o f i t s s t a t i c n a t u r e , t h e

O P E N E D g e s t u r e h a s b e e n m o d e l e d w i t h o n l y t w o

s t a t e s . T h i r t y s a m p l e s e q u e n c e s w e r e u s e d t o t r a i n

e a c h g e s t u r e . F i g u r e 6 s h o w s t h e 3 - s t a t e H M M u s e d

t o m o d e l t h e P O I N T I N G g e s t u r e .

T o v e r i f y t h e p r o p o s e d H M M , t h e s y s t e m w a s e v a l -

u a t e d o n a c o n t i n u o u s s t r e a m o f t e s t d a t a c o n t a i n i n g

b o t h g e s t u r e s a n d n o n - g e s t u r e s . T o c o m p a r e r e s u l t s ,

w e c o m p a r e d t h e H M M s p o t t e r w i t h b a s i c l e f t - r i g h t

c o n g u r a t i o n s t h a t h a v e v a r i a b l e w i n d o w s o f t h e n o b -

s e r v a t i o n s , a s i s i l l u s t r a t e d i n F i g u r e 7 . U n l i k e t h e

H M M w i t h \ w a i t s t a t e " , t h i s H M M d o e s n o t h a v e

a \ w a i t s t a t e " . H M M s f r o m e a c h g e s t u r e t a k e a s e -

0

0.1

0.2

0.3

0.4

0.5

0.6

1 3 5 7 9 1 1 1 3 1 5 1 7 19 2 1 2 3 25 2 7 2 9 31 3 3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

1 3 5 7 9 1 1 1 3 1 5 1 7 1 9 2 1 23 2 5 2 7 2 9 3 1

0

0.1

0.2

0.3

0.4

0.5

0.6

1 3 5 7 9 1 1 1 3 1 5 1 7 19 2 1 2 3 25 2 7 2 9 31 3 3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

1 3 5 7 9 1 1 1 3 1 5 17 1 9 2 1 23 2 5 2 7 2 9 31 3 3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

1 3 5 7 9 1 1 1 3 1 5 17 1 9 2 1 23 2 5 2 7 2 9 31 3 3

0.84

0.460.16

1.00.54

F i g u r e 6 : A s a m p l e 3 - s t a t e H M M f o r t h e P O I N T I N G

g e s t u r e , s h o w n w i t h t r a n s i t i o n p r o b a b i l i t i e s a n d o b -

s e r v a t i o n p r o b a b i l i t i e s

c odeword (c ) 1 2 1 2 1 2 2 9 29 5 5 1 2 12 1 2 1 2 1 2 1 2 18 1 8 4 4 2 3 2 3 2 3 2 3 23 2 3 23 2 3 5

t im e (t ) 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5

.

....

F i g u r e 7 : A n H M M w i t h a v a r i a b l e t i m e w i n d o w

q u e n c e o f t h e n m o s t r e c e n t d a t a s a m p l e s t o c l a s s i f y a

g e s t u r e . T h e s y s t e m t h e n e v a l u a t e s P r ( O

t n

O

t

j

l

)

f o r a l l n t o n d t h e g e s t u r e l t h a t p r o d u c e s t h e m a x -

i m u m s c o r e . T h e s y s t e m w a s s e t t o r e j e c t a s e q u e n c e

a s \ n o n e o f t h e a b o v e " i f P r ( O

t n

O

t

j

l

) f o r a l l

g e s t u r e s i s l e s s t h a n 0 . 5 .

O n t h e t e s t s e q u e n c e o f c o d e w o r d s m i x e d w i t h g e s -

t u r e s a n d n o n - g e s t u r e s , t h e H M M w i t h \ w a i t s t a t e "

r e c o g n i z e d g e s t u r e s w i t h 9 6 % a c c u r a c y ( 4 8 o u t o f 5 0

g e s t u r e s e q u e n c e s r e c o g n i z e d c o r r e c t l y ) , w h e r e a s t h e

H M M w i t h v a r i a b l e w i n d o w r e c o g n i z e d a l l g e s t u r e s .

H o w e v e r , t h e f a l s e - p o s i t i v e r a t e f o r t h e H M M w i t h

v a r i a b l e w i n d o w w a s 2 0 . 2 o b s e r v a t i o n s p e r 1 0 0 0 s a m -

p l e s , w h e r e a s t h e H M M w i t h \ w a i t s t a t e " h a d a f a l s e -

p o s i t i v e r a t e o f o n l y 1 . 6 o b s e r v a t i o n s p e r 1 0 0 0 . I t i s

i m p o r t a n t t o k e e p i n m i n d t h a t t h i s n u m b e r d o e s n o t

a p p l y d i r e c t l y t o t h e r e a l d a t a , s i n c e t h e r e m a y b e

o t h e r f a c t o r s c o n t r i b u t i n g t o t h e e r r o r s , s u c h a s v e c t o r


6/7

q u a n t i z a t i o n .

4 G e s t u r e i n t e r p r e t a t i o n

O n c e a p a r t i c u l a r g e s t u r e h a s b e e n r e c o g n i z e d , i t

n e e d s t o b e m a p p e d t o a c o r r e s p o n d i n g r o b o t a c t i o n .

W e h a v e i m p l e m e n t e d t w o d i e r e n t m o d e s o f i n t e r -

a c t i o n w i t h t h e r o b o t : l o c a l c o n t r o l a n d g l o b a l c o n -

t r o l . I n t h e l o c a l i n t e r a c t i o n m o d e , t h e u s e r ' s g e s t u r e s

a r e i n t e r p r e t e d i n t h e r o b o t ' s l o c a l f r a m e o f r e f e r e n c e .

F o r i n s t a n c e , p o i n t i n g m a k e s t h e r o b o t m o v e f o r w a r d

r e g a r d l e s s o f w h e t h e r t h e r o b o t i s f a c i n g t o w a r d s o r

a w a y f r o m t h e u s e r . I n t h e g l o b a l i n t e r a c t i o n m o d e ,

t h e p o s i t i o n o f t h e h a n d i s m e a s u r e d i n t h e u n i v e r s a l

c o o r d i n a t e f r a m e a l l o w i n g u s t o i n t e r p r e t t h e g e s t u r e s

w i t h r e s p e c t t o t h e g l o b a l f r a m e o f r e f e r e n c e .

4 . 1 L o c a l r o b o t c o n t r o l

I n t h e l o c a l r o b o t c o n t r o l m o d e , t h e s i x g e s t u r e s

h a v e t h e f o l l o w i n g m e a n i n g :

C L O S I N G : d e c e l e r a t e s a n d e v e n t u a l l y s t o p s t h e

r o b o t

O P E N I N G , O P E N E D : m a i n t a i n s t h e c u r r e n t

s t a t e o f t h e r o b o t

P O I N T I N G : a c c e l e r a t e s t h e r o b o t

W A V I N G L E F T / R I G H T : i n c r e a s e t h e r o t a t i o n a l

v e l o c i t y t o m o v e l e f t / r i g h t

T h e p u r p o s e o f t h e l o c a l c o n t r o l m o d e i s t o a l l o w

t h e u s e r t o c o n t r o l t h e r o b o t i n a r e m o t e o p e r a t i o n

s c e n a r i o . T h e u s e r w a t c h e s t h e v i d e o i m a g e t r a n s m i t -

t e d f r o m t h e r o b o t ' s c a m e r a a n d c o n t r o l s t h e r o b o t a s

i f h e o r s h e w e r e s i t t i n g o n i t .

A C L O S I N G g e s t u r e i s i m p l e m e n t e d b y d e c r e a s i n g

b o t h l i n e a r a n d a n g u l a r v e l o c i t y o f t h e r o b o t . C o n -

t i n u o u s e x e c u t i o n o f a C L O S I N G g e s t u r e e v e n t u a l l y

s t o p s t h e r o b o t ' s m o v e m e n t . T h e c h o i c e t o m a k e t h e

C L O S I N G h a n d a s t o p p i n g g e s t u r e w a s b a s e d o n p e o -

p l e ' s n a t u r a l r e a c t i o n a n d t h e f a c t t h a t i t h a s t h e b e s t

a c c u r a c y i n g e s t u r e s p o t t i n g ( a C L O S I N G g e s t u r e h a s

1 0 0 % a c c u r a c y i n o u r r e c o g n i t i o n s y s t e m ) . A P O I N T -

I N G g e s t u r e a c c e l e r a t e s t h e r o b o t b y i n c r e a s i n g

U

v

r

b y

a x e d v a l u e . S u c c e s s i v e p o i n t i n g g e s t u r e s c a u s e t h e

r o b o t t o a c c e l e r a t e i n t h e f o r w a r d d i r e c t i o n .

T h e W A V I N G L E F T a n d W A V I N G R I G H T g e s -

t u r e s a r e i m p l e m e n t e d a s s i m p l e d i s c r e t e s t e e r i n g c o m -

m a n d s . W h e n t h e g e s t u r e s p o t t e r d e t e c t s W A V I N G

L E F T ( o r R I G H T ) , t h e g e s t u r e s e r v e r t e l l s t h e r o b o t

c o n t r o l l e r t o i n c r e a s e ( o r d e c r e a s e )

U

!

r

b y a x e d

v a l u e . S u c c e s s i v e w a v i n g g e s t u r e s c a u s e t h e r o b o t t o

t u r n f a s t e r .

4 . 2 G l o b a l r o b o t c o n t r o l

I n t h e g l o b a l r o b o t c o n t r o l m o d e , t h e s i x g e s t u r e s

h a v e t h e f o l l o w i n g m e a n i n g s :

C L O S I N G : d e c e l e r a t e s a n d e v e n t u a l l y s t o p s t h e

r o b o t

O P E N I N G , O P E N E D : m a i n t a i n s t h e c u r r e n t

s t a t e o f t h e r o b o t

P O I N T I N G : \ g o t h e r e "

W A V I N G L E F T / R I G H T : d i r e c t s t h e r o b o t t o -

w a r d s t h e d i r e c t i o n i n w h i c h t h e h a n d i s w a v i n g .

T h e g l o b a l r o b o t c o n t r o l m o d e p r o v i d e s c l o s e i n t e r -

a c t i o n b e t w e e n t h e u s e r a n d t h e r o b o t . T h e r o b o t i s

i n s i g h t o f t h e u s e r , a n d t h e u s e r c a n p o i n t h i s o r h e r

n g e r t o s p e c i f y t h e d e s t i n a t i o n f o r t h e r o b o t o r g i v e i t

a n a d d i t i o n a l b i a s b y w a v i n g h a n d s t o g u i d e t h e r o b o t .

T h e C L O S I N G g e s t u r e i s i m p l e m e n t e d i n a m a n n e r

s i m i l a r t o t h e l o c a l r o b o t c o n t r o l m o d e . I t c a n c e l s

t h e r o b o t ' s d e s t i n a t i o n i f o n e e x i s t s , a n d b r i n g s (

U

_

X

r

U

_

Y

r

) t o z e r o t o s t o p t h e r o b o t .

T h e P O I N T I N G g e s t u r e d e n e s t h e d e s t i n a t i o n f o r

t h e r o b o t a s t h e l o c a t i o n w h e r e t h e s t r a i g h t l i n e e x -

t e n d i n g t h e i n d e x n g e r i n t e r s e c t s w i t h t h e o o r . T h e

r o b o t c o n t r o l l e r g e n e r a t e s t h e m o t i o n v e c t o r , (

U

_

X

r

U

_

Y

r

) , b a s e d o n t h e d i e r e n c e b e t w e e n i t s c u r r e n t p o -

s i t i o n a n d t h e d e s t i n a t i o n .

T h e i n t e r p r e t a t i o n o f t h e W A V I N G L E F T a n d

W A V I N G R I G H T g e s t u r e s d e p e n d s a l s o o n t h e m o -

t i o n v e c t o r e x t r a c t e d f r o m t h e P o l h e m u s 6 D O F p o s i -

t i o n i n g s y s t e m p l a c e d o n t h e h a n d . W h e n a W A V I N G

L E F T ( o r R I G H T ) g e s t u r e i s r e c o g n i z e d , t h e r o b o t i s

c o m m a n d e d i n t h e d i r e c t i o n p e r p e n d i c u l a r t o t h e p a l m

o f t h e h a n d w h e n t h e h a n d i s w a v i n g a t i t s m a x i m u m

s p e e d . W h e n t h e r o b o t e n c o u n t e r s a n o b s t a c l e w h i l e

h e a d i n g t o w a r d s i t s d e s t i n a t i o n , t h e u s e r c a n w a v e i n

a p a r t i c u l a r d i r e c t i o n t o d o d g e t h e o b s t a c l e .

5 S u m m a r y a n d F u t u r e W o r k

I n t h i s p a p e r , w e h a v e i n t r o d u c e d a n d d e m o n -

s t r a t e d a n a r c h i t e c t u r e f o r g e s t u r e b a s e d c o n t r o l o f

m o b i l e r o b o t s . A n H M M - b a s e d g e s t u r e s p o t t e r r e c -

o g n i z e s s i x d y n a m i c h a n d g e s t u r e s f r o m a c o n t i n u o u s

d a t a s e q u e n c e f r o m a d a t a g l o v e . T h e H M M d i e r s

f r o m m o s t t r a d i t i o n a l H M M r e c o g n i z e r s b e c a u s e o f

t h e i n c l u s i o n o f a \ w a i t s t a t e " w h i c h a l l o w s i t t o e e c -

t i v e l y r e j e c t h a n d m o t i o n s t h a t d o n o t c o r r e s p o n d t o

a n y o f t h e m o d e l e d g e s t u r e s . T h i s i s v e r y i m p o r t a n t

f o r a v o i d i n g i n a d v e r t e n t r o b o t c o m m a n d s w h i l e w e a r -

i n g t h e d a t a g l o v e . I n o u r e x p e r i m e n t s , w e v e r i e d

t h a t t h e H M M w i t h a \ w a i t s t a t e " p r o d u c e d a n o r d e r


7/7

o f m a g n i t u d e f e w e r f a l s e p o s i t i v e s t h a n a t r a d i t i o n a l

H M M r e c o g n i z e r .

W e e n v i s i o n g e s t u r e - b a s e d c o n t r o l t o b e o f p a r t i c -

u l a r v a l u e f o r i n t e r a c t i n g w i t h t e a m s o f r o b o t s . C o n -

t r o l l i n g i n d i v i d u a l r o b o t s c a n s t i l l b e a c h i e v e d u s i n g

a m o u s e o r a j o y s t i c k ; t h e r e i s a o n e - t o - o n e m a p p i n g

b e t w e e n t h e j o y s t i c k p o s i t i o n a n d t h e r o b o t v e l o c i t y .

M u l t i - r o b o t s y s t e m s r e q u i r e a m u c h r i c h e r f o r m o f i n -

t e r a c t i o n . I n s t e a d o f p r o v i d i n g l o w - l e v e l c o n t r o l f o r

i n d i v i d u a l r o b o t s , t h e u s e r n e e d s t o p r o v i d e h i g h - l e v e l

d i r e c t i v e s f o r t h e t e a m a s a w h o l e . W e w i l l a d d r e s s

c o n t r o l o f m u l t i - r o b o t s y s t e m s i n o u r f u t u r e r e s e a r c h .

A c k n o w l e d g m e n t s

T h i s r e s e a r c h i s f u n d e d i n p a r t b y t h e b y t h e D i s -

t r i b u t e d R o b o t i c s p r o g r a m o f D A R P A / E T O u n d e r

c o n t r a c t D A B T 6 3 - 9 7 - 1 - 0 0 0 3 , a n d b y t h e I n s t i t u t e f o r

C o m p l e x E n g i n e e r e d S y s t e m s a t C a r n e g i e M e l l o n U n i -

v e r s i t y .

R e f e r e n c e s

[ 1 ] H . - J . B o e h m e , A . B r a k e n s i e k , U . - D . B r a u m a n n ,

M . K r a b b e s , a n d H . - M . G r o s s , \ N e u r a l A r -

c h i t e c t u r e f o r G e s t u r e - B a s e d H u m a n - M a c h i n e -

I n t e r a c t i o n , " I n P r o c . o f t h e G e s t u r e a n d S i g n L a n -

g u a g e i n H u m a n - C o m p u t e r I n t e r a c t i o n . I n t e r n a -

t i o n a l G e s t u r e W o r k s h o p , p p . 2 1 9 - 2 3 2 , B i e l e f e l d ,

G e r m a n y , S e p t . 1 9 9 7 .

[ 2 ] M . W . G e r t z , P . K . K h o s l a , \ O n i k a : A M u l t i l e v e l

H u m a n - M a c h i n e I n t e r f a c e f o r R e a l - T i m e S e n s o r -

B a s e d S y s t e m s , " I n P r o c . o f t h e 4 t h I n t l C o n f .

a n d E x p o o n E n g i n e e r i n g , C o n s t r u c t i o n a n d O p -

e r a t i o n s i n S p a c e , A l b u q u e r q u e N M . , F e b 1 9 9 4 .

[ 3 ] K . D i x o n , J . D o l a n , W . H u a n g , C . P a r e d i s , a n d

P . K h o s l a , \ R A V E : A R e a l a n d V i r t u a l E n v i -

r o n m e n t f o r M u l t i p l e M o b i l e R o b o t S y s t e m s , " I n

P r o c . I n t l . C o n f . o n I n t e l l i g e n t R o b o t s a n d S y s t e m s

( I R O S ' 9 9 ) , K o r e a , 1 9 9 9 .

[ 4 ] S . B . K a n g a n d K . I k e u c h i , \ R o b o t t a s k p r o g r a m -

m i n g b y h u m a n d e m o n s t r a t i o n , " I n P r o c . I m a g e

U n d e r s t a n d i n g W o r k s h o p , p p . 1 1 2 5 - 1 1 3 4 , M o n -

t e r e y , C A , N o v e m b e r 1 9 9 4 .

[ 5 ] C . L e e a n d Y . X u , \ O n l i n e , I n t e r a c t i v e L e a r n i n g

o f G e s t u r e s f o r H u m a n / R o b o t I n t e r f a c e s , " I n P r o c .

I n t l . C o n f . o n R o b o t i c s a n d A u t o m a t i o n , v o l . 4 , p p .

2 9 8 2 - 2 9 8 7 , 1 9 9 6 .

[ 6 ] Y . L i n d e , A . B u z o , R . M . G r e y , \ A n A l g o r i t h m f o r

V e c t o r Q u a n t i z e r D e s i g n , " I E E E T r a n s a c t i o n s o n

C o m m u n i c a t i o n s , V o l . c o m - 2 8 , N o . 1 , p p . 8 4 - 9 5 ,

J a n u a r y 1 9 8 0 .

[ 7 ] J . D . M o r r o w a n d P . K . K h o s l a , \ M a n i p u l a t i o n

T a s k P r i m i t i v e s f o r C o m p o s i n g R o b o t S k i l l s , " I n

P r o c . o f t h e I E E E I n t l . C o n f e r e n c e o n R o b o t i c s

a n d A u t o m a t i o n , A l b u q u e r q u e , N M , v . 4 , p p . 3 3 5 4 -

3 3 5 9 , 1 9 9 7 .

[ 8 ] R . M y e r s a n d J . W h i t s o n , " H i d d e n M a r k o v M o d e l

f o r a u t o m a t i c s p e e c h r e c o g n i t i o n , " f t p : / / s v r -

f t p . e n g . c a m . a c . u k / p u b / c o m p . s p e e c h / r e c o g n i t i o n / ,

U n i v e r s i t y o f C a l i f o r n i a a t I r v i n e , 1 9 9 4 .

[ 9 ] A . N a k a m u r a , S . K a k i t a , T . A r a i , J . B e l t r a n -

E s c a v y , J . O t a , \ M u l t i p l e M o b i l e R o b o t O p e r a t i o n

b y H u m a n , " I n P r o c . I n t l . C o n f . o n R o b o t i c s a n d

A u t o m a t i o n , L e u v e n , B e l g i u m , v . 4 , p p . 2 8 5 2 - 2 8 5 7 ,

M a y 1 9 9 8 .

[ 1 0 ] L . R . R a b i n e r a n d B . H . J u a n g , \ A n i n t r o d u c t i o n

t o h i d d e n M a r k o v m o d e l s , " I E E E A S S P M a g a z i n e

p p . 4 - 1 6 , 1 9 8 6 .

[ 1 1 ] G . R i g o l l , A . K o s m a l a , a n d S . E i c k e l e r \ H i g h

P e r f o r m a n c e R e a l - T i m e G e s t u r e R e c o g n i t i o n U s -

i n g H i d d e n M a r k o v M o d e l s , " I n P r o c . G e s t u r e a n d

S i g n L a n g u a g e i n H u m a n - C o m p u t e r I n t e r a c t i o n .

I n t e r n a t i o n a l G e s t u r e W o r k s h o p , p p . 6 9 - 8 0 , B i e l e -

f e l d , G e r m a n y , S e p t . 1 9 9 7 .

[ 1 2 ] D . B . S t e w a r t , R . A . V o l p e , a n d P . K . K h o s l a ,

\ D e s i g n o f d y n a m i c a l l y r e c o n g u r a b l e r e a l - t i m e

s o f t w a r e u s i n g p o r t - b a s e d o b j e c t s , " I E E E T r a n s .

o n S o f t w a r e E n g i n e e r i n g , 2 3 ( 1 2 ) , p p . 7 5 9 - 7 7 6 , D e -

c e m b e r 1 9 9 7 .

[ 1 3 ] R . M . V o y l e s , A . A g a h , P . K . K h o s l a a n d G . A .

B e k e y , \ T r o p i s m - B a s e d C o g n i t i o n f o r t h e I n t e r p r e -

t a t i o n o f C o n t e x t - D e p e n d e n t G e s t u r e s , " I n P r o c .

I n t l . C o n f . o n R o b o t i c s a n d A u t o m a t i o n , A l b u -

q u e r q u e , N M , v . 4 , p p . 3 4 8 1 - 3 4 8 6 , A p r . 1 9 9 7 .

[ 1 4 ] R . M . V o y l e s a n d P . K . K h o s l a , \ G e s t u r e - B a s e d

P r o g r a m m i n g , P a r t 1 : A M u l t i - A g e n t A p p r o a c h , "

i n I n t e l l i g e n t E n g i n e e r i n g S y s t e m s t h r o u g h A r t i -

c i a l N e u r a l N e t w o r k s , V o l u m e 6 ; S m a r t E n g i n e e r -

i n g S y s t e m s : N e u r a l N e t w o r k s , F u z z y L o g i c a n d

E v o l u t i o n a r y P r o g r a m m i n g , A S M E P r e s s , 1 9 9 6 .

[ 1 5 ] S . W a l d h e r r , S . T h r u n , a n d R . R o m e r o , \ A

n e u r a l - n e t w o r k b a s e d a p p r o a c h f o r r e c o g n i t i o n o f

p o s e a n d m o t i o n g e s t u r e s o n a m o b i l e r o b o t , " I n

P r o c . o f t h e 5 t h B r a z i l i a n S y m p o s i u m o n N e u r a l

N e t w o r k s , p p . 7 9 - 8 4 , B e l o H o r i z o n t e , B r a z i l , D e c .

1 9 9 8 .

Documents

An architecture for gesture-based control of mobile robots