A Taxonomy of Real and Virtual World Display Integration Milgram

8/13/2019 A Taxonomy of Real and Virtual World Display Integration Milgram

1/26

C h a p t e r 1

A T a x o n o m y o f R e a l a n d V i r t u a l

W o r l d D i s p l a y I n t e g r a t i o n

P a u l M i l g r a m

H e r m a n C o l q u h o u n J r .

U n i v e r s i t y o f T o r o n t o , C a n a d a

1 . 1 D e n i t i o n o f M i x e d R e a l i t y

O u r p r i m a r y o b j e c t i v e i n t h i s p a p e r i s t o p r e s e n t a n u m b e r o f f u n d a m e n t a l d i s p l a y

i n t e g r a t i o n a n d o r i e n t a t i o n i s s u e s r e l a t e d t o t h e n a s c e n t e l d o f M i x e d R e a l i t y . O u r

a p p r o a c h i s m o t i v a t e d r s t b y t h e n e e d f o r a m o r e e n c o m p a s s i n g t e r m t o s u p p l e m e n t

t h e e x i s t i n g d e n i t i o n o f A u g m e n t e d R e a l i t y A R , w h i c h l e a d s u s t o p r o p o s e d e f -

i n i t i o n s o f t h e a s s o c i a t e d c o n c e p t s o f A u g m e n t e d V i r t u a l i t y A V a n d t h e n M i x e d

R e a l i t y M R . F o l l o w i n g o u r d i s c u s s i o n o f t h e b r e a d t h o f M i x e d R e a l i t y d i s p l a y s

i n S e c t i o n 1 . 1 , w e d i s c u s s t h e a s s o c i a t e d i s s u e s o f v i e w p o i n t c e n t r i c i t y a n d c o n t r o l -

d i s p l a y m a p p i n g i n S e c t i o n 1 . 2 . F i n a l l y , i n S e c t i o n 1 . 3 , w e p r e s e n t a t a x o n o m y w h i c h

w e h o p e w i l l b e u s e f u l f o r d i e r e n t i a t i n g b e t w e e n s e v e r a l o f t h e i s s u e s r a i s e d w i t h

r e g a r d t o t h e d i e r e n t c l a s s e s o f M i x e d R e a l i t y d i s p l a y s y s t e m s .

1 . 1 . 1 A u g m e n t e d R e a l i t y

A n e x a m i n a t i o n o f c u r r e n t l i t e r a t u r e i n w h i c h t h e t e r m A u g m e n t e d R e a l i t y A R

a p p e a r s w i l l r e v e a l t w o c l a s s e s o f d e n i t i o n , d i s t i n g u i s h e d f r o m e a c h o t h e r i n t e r m s

o f b r e a d t h . M o s t c o m m o n a p p e a r t o b e t h o s e f o r w h i c h A R r e f e r s n a r r o w l y t o t h e

1


2/26

2 A T a x o n o m y o f R e a l a n d V i r t u a l W o r l d D i s p l a y I n t e g r a t i o n

c l a s s o f d i s p l a y s y s t e m s c o m p r i s i n g s o m e k i n d o f h e a d - m o u n t e d d i s p l a y H M D o r

h e a d - u p d i s p l a y H U D . I n t h e c a s e o f H M D ' s , t h e v i e w e r o b s e r v e s a d i r e c t s e e -

t h r o u g h " v i e w o f t h e r e a l w o r l d , e i t h e r o p t i c a l l y o r v i a v i d e o c o u p l i n g , u p o n w h i c h i s

s u p e r i m p o s e d c o m p u t e r g e n e r a t e d g r a p h i c s . A n u m b e r o f r e v i e w s w h i c h f o c u s o n t h i s

c l a s s o f d i s p l a y s h a v e b e e n w r i t t e n , i n c l u d i n g t h a t b y A z u m a 1 a n d t h a t b y F u c h s

a n d A c k e r m a n 2 i n t h e p r e s e n t v o l u m e . S o m e o f t h e p r o m i n e n t e x a m p l e s o f s u c h

d i s p l a y s i n c l u d e s y s t e m s f o r a s s i s t i n g i n m a n u f a c t u r i n g 3 5 a n d i n m e d i c i n e 6 . I t

i s i m p o r t a n t t o n o t e t h a t h e a d - u p d i s p l a y s H U D ' s , w h i c h h a v e e x i s t e d i n p r i m a r i l y

m i l i t a r y a v i a t i o n e n v i r o n m e n t s f o r s e v e r a l y e a r s , c l e a r l y f a l l w i t h i n t h e r e a l m o f s e e -

t h r o u g h A R a s w e l l , i n t h e s e n s e t h a t g r a p h i c i n f o r m a t i o n i s s u p e r i m p o s e d u p o n t h e

p i l o t ' s d i r e c t v i e w o f t h e o u t s i d e r e a l w o r l d 1 7 . M o r e r e c e n t l y , t h e s a m e H M D

c o n c e p t h a s b e e n p r o p o s e d f o r u s e a l s o b y c o m b a t s o l d i e r s o n t h e g r o u n d 8 9 .

T h e s e c o n d , b r o a d e r c l a s s o f d e n i t i o n s i n t h e l i t e r a t u r e r e l a x e s t h e c o n s t r a i n t

o f n e e d i n g t h e e q u i v a l e n t o f a H M D a n d c o v e r s a n y c a s e i n w h i c h a n o t h e r w i s e

r e a l e n v i r o n m e n t i s ` a u g m e n t e d ' b y m e a n s o f v i r t u a l c o m p u t e r g r a p h i c o b j e c t s "

1 0 1 1 , t h e r e b y e n c o m p a s s i n g b o t h l a r g e s c r e e n a n d m o n i t o r b a s e d d i s p l a y s a s

w e l l . E x a m p l e s c o n f o r m i n g t o t h i s b r o a d e r d e n i t i o n o f A R i n c l u d e a p p l i c a t i o n s i n

r o b o t i c s 1 2 a n d m e d i c i n e 1 3 1 4 .

I n a s e n s e a t h i r d , e v e n b r o a d e r c l a s s o f A R d i s p l a y s h a s b e e n p r o p o s e d b y s o m e

i n t h e l i t e r a t u r e , e n c o m p a s s i n g t h o s e c a s e s i n v o l v i n g a n y m i x t u r e o f r e a l a n d v i r t u a l

e n v i r o n m e n t s . C o n s i s t e n t w i t h t h i s i n t e r p r e t a t i o n , A z u m a , i n h i s e a r l i e r s u r v e y o f

A u g m e n t e d R e a l i t y , r e f e r r e d t o A R a s a v a r i a t i o n o n V i r t u a l E n v i r o n m e n t s t h a t

c o m b i n e s v i r t u a l a n d r e a l " 1 5 . H e l a t e r r e n e d t h i s , h o w e v e r , t o c o m p r i s e a n y

s y s t e m t h a t 1 c o m b i n e s r e a l a n d v i r t u a l , 2 i s i n t e r a c t i v e i n r e a l t i m e , a n d 3 i s

r e g i s t e r e d i n t h r e e d i m e n s i o n s " 1 . A s w e d i s c u s s i n t h e f o l l o w i n g s e c t i o n , e x t e n d i n g

t h e r e a l m o f A R i n t h i s d i r e c t i o n b r i n g s t o l i g h t a n i m p o r t a n t i s s u e w h e t h e r i t i s i n

f a c t r e a l i t y o r v i r t u a l i t y w h i c h i s b e i n g e n h a n c e d a n d , t o g e t h e r w i t h t h i s , t h e n e e d

f o r a b r o a d e r , m o r e c o m p r e h e n s i v e s e t o f d e n i t i o n s . I t i s o u r c o n t e n t i o n t h a t a n y

u s e f u l d e n i t i o n o f A R s h o u l d d e n i t e l y e n c o m p a s s t h e r s t t w o c l a s s e s o f d i s p l a y s

m e n t i o n e d h e r e , b u t t h a t a d i e r e n t t e r m i s n e e d e d t o a c c o u n t f o r t h e t h i r d c l a s s .

1 . 1 . 2 R e a l i t y v s . V i r t u a l i t y

B e f o r e p r o c e e d i n g , i t i s i m p e r a t i v e t h a t w e c l a r i f y w h a t w e m e a n b y t h e k e y t e r m s

r e a l " a n d v i r t u a l " e n v i r o n m e n t s . F o l l o w i n g t h e a p p r o a c h p r o p o s e d i n 1 0 1 1 , w e

r s t c o n t e n d t h a t , a l t h o u g h b o t h p u r e l y r e a l e n v i r o n m e n t s R E ' s a n d v i r t u a l e n v i -

r o n m e n t s V E ' s c e r t a i n l y d o e x i s t a s s e p a r a t e e n t i t i e s , t h e y a r e n o t t o b e c o n s i d e r e d

s i m p l y a s a l t e r n a t i v e s t o e a c h o t h e r , b u t r a t h e r a s p o l e s l y i n g a t o p p o s i t e e n d s o f

a R e a l i t y - V i r t u a l i t y R V c o n t i n u u m , a s s h o w n i n F i g u r e 1 . 1 . T h e l o c a t i o n o f a n y

e n v i r o n m e n t , o r w o r l d " , a l o n g t h i s c o n t i n u u m c o i n c i d e s w i t h i t s l o c a t i o n a l o n g a

p a r a l l e l E x t e n t o f W o r l d K n o w l e d g e E W K c o n t i n u u m . I n u s i n g t h e l a t t e r t e r m ,

w e a r e r e f e r r i n g t o t h e e x t e n t o f k n o w l e d g e p r e s e n t w i t h i n t h e c o m p u t e r a b o u t t h e

w o r l d b e i n g p r e s e n t e d . F i g u r e 1 . 1 i l l u s t r a t e s t h e p a r a l l e l n a t u r e o f t h e t w o c o n c e p t s .

A s i n d i c a t e d i n t h e g u r e , a t t h e r i g h t e n d o f t h e R V c o n t i n u u m a r e v i r t u a l

e n v i r o n m e n t s , w h i c h m u s t n e c e s s a r i l y b e c o m p l e t e l y m o d e l l e d i n o r d e r t o b e r e n d e r e d .

A t t h e o p p o s i t e e x t r e m e w e a r e t a k i n g r e a l e n v i r o n m e n t s t o b e r e p r e s e n t a t i o n s o f

a w o r l d , o r r e g i o n , w h i c h a r e c o m p l e t e l y u n m o d e l l e d . I n u s i n g t h e t e r m m o d e l " ,


3/26

1 . 1 D e n i t i o n o f M i x e d R e a l i t y 3

w e a r e l i m i t i n g o u r s e l v e s t o q u a n t i t a t i v e c o m p u t e r m o d e l s . T h u s , i n r e l a t i o n t o r e a l

e n v i r o n m e n t s , w h i c h h a v e n o t b e e n m o d e l l e d , w e r e f e r t o s i t u a t i o n s i n w h i c h t h e

c o m p u t e r d o e s n o t p o s s e s s , o r d o e s n o t a t t r i b u t e m e a n i n g t o , a n y i n f o r m a t i o n a b o u t

t h e c o n t e n t o f a n i m a g e .

1

R E ' s t h e r e f o r e e n c o m p a s s a n y k i n d o f s a m p l e d i m a g e d a t a ,

a n d i n c l u d e a s t h e p r i m a r y e x a m p l e v i d e o , b u t a l s o p h o t o g r a p h i c i m a g e s v i s i b l e o r

i n f r a r e d , r a d a r , X - r a y a n d u l t r a s o u n d , a s w e l l a s l a s e r s c a n n e d d a t a b o t h r a n g e

a n d l i g h t i n t e n s i t y d a t a . N o t e t h a t w e a r e n o t n e c e s s a r i l y l i m i t i n g o u r s e l v e s i n o u r

d e n i t i o n t o t w o d i m e n s i o n a l 2 D d a t a , b u t w e i n c l u d e , e s p e c i a l l y w i t h r e s p e c t t o

t h e l a t t e r e x a m p l e o f l a s e r r a n g e d a t a , a l s o t h r e e d i m e n s i o n a l 3 D s a m p l e d i m a g e s .

F i g u r e 1 . 1 R e a l i t y - V i r t u a l i t y R V C o n t i n u u m , i n p a r a l l e l w i t h E x t e n t o f W o r l d K n o w l -

e d g e E W K C o n t i n u u m .

R e t u r n i n g t o t h e i s s u e o f m i x i n g , o r c o m b i n i n g , r e a l a n d g r a p h i c i m a g e s , a s i s t h e

c a s e w i t h A R , t h i s n e c e s s a r i l y b r i n g s u s s o m e w h e r e t o w a r d s t h e m i d d l e o f t h e R V

s p e c t r u m , a n d c o n c u r r e n t l y t o s o m e r e g i o n i n t h e m i d d l e o f t h e E W K c o n t i n u u m ,

i n w h i c h t h e w o r l d i s p a r t i a l l y m o d e l l e d . T h i s m e a n s , f o r e x a m p l e , t h a t w e m i g h t

k n o w t h e l o c a t i o n o f s o m e o b j e c t s , b u t n o t h i n g a b o u t t h e o b j e c t s t h e m s e l v e s , o r

w e m i g h t h a v e e l a b o r a t e g e o m e t r i c m o d e l s o f s o m e o b j e c t s , b u t n o t k n o w a n y t h i n g

a b o u t w h e r e t h e y a r e , t h a t i s , h o w t h e y r e l a t e t o s u r r o u n d i n g r e g i o n s o f t h e i m a g e .

A s w e v e n t u r e a w a y f r o m t h e p o l e s o f t h e R V c o n t i n u u m t o w a r d s t h e c e n t r e , w e

a l s o e v e n t u a l l y b e g i n t o e n c o u n t e r t h e p r o b l e m o f d e c i d i n g w h e t h e r i n f a c t w h a t w e

a r e d o i n g i s a u g m e n t i n g a r e a l w o r l d w i t h v i r t u a l g r a p h i c o b j e c t s , o r w h e t h e r w e

a r e m o d i f y i n g a v i r t u a l e n v i r o n m e n t b y a u g m e n t i n g i t w i t h r e a l d a t a . T h i s i s s u e

i s d i s c u s s e d f u r t h e r i n S e c t i o n 1 . 1 . 4 . T o t h e e x t e n t t h a t t h e s e t w o c a s e s c a n b e

d i s t i n g u i s h e d f r o m e a c h o t h e r , i n t h e m e a n t i m e , i t h a s b e e n p r o p o s e d t h a t t h e y b e

l a b e l l e d A u g m e n t e d R e a l i t y A R a n d A u g m e n t e d V i r t u a l i t y A V r e s p e c t i v e l y 1 0

1 1 .

T h e s e c o n c e p t s a r e i l l u s t r a t e d i n F i g u r e 1 . 2 . O n t h e l e f t h a n d s i d e w e h a v e a n

e x a m p l e o f A u g m e n t e d R e a l i t y : a s c e n e c o m p r i s i n g a p h o t o g r a p h i . e . a r e a l i m a g e

o f a m o u n t a i n l a k e , u p o n w h i c h h a v e b e e n s u p e r i m p o s e d t w o c o m p u t e r g e n e r a t e d

1

I t i s i n t e r e s t i n g t o p o i n t o u t t h a t D u r l a c h a n d c o l l e a g u e s h a v e m a d e a s i m i l a r o b s e r v a t i o n

i n t h e i r r e c e n t b o o k o n V i r t u a l R e a l i t y , a p o r t i o n o f w h i c h w e c i t e h e r e f o r c o n v e n i e n c e 3 6 ,

p p . 5 9 6 0 : W h e n a v i r t u a l e n v i r o n m e n t a p p l i c a t i o n r e q u i r e s a r e p l i c a o f a r e a l e n v i r o n m e n t , i t

i s g e n e r a l l y c o n s i d e r e d p r e f e r a b l e t o m a p t h e r e a l e n v i r o n m e n t r a t h e r t h a n b u i l d a m o d e l o f i t .

A c t i v e m a p p i n g t e c h n i q u e s , s u c h a s s c a n n i n g l a s e r r a n g e n d e r s a n d l i g h t s t r i p e s , a r e u s e d t o m a k e

t h r e e - d i m e n s i o n a l m e a s u r e m e n t s d i r e c t l y . " W e m u s t p o i n t o u t t h a t t h o s e a u t h o r s ' u s e o f t h e t e r m

v i r t u a l e n v i r o n m e n t " V E d o e s n o t c o n f o r m w i t h o u r s , h o w e v e r , s i n c e s u c h a c o l l e c t i o n o f s a m p l e d

d a t a w o u l d c o n t i n u e t o b e t e r m e d a r e a l e n v i r o n m e n t " R E b y o u r d e n i t i o n .


4/26


(a) Augmented Reality (AR) (b) Augmented Virtuality (AV)

F i g u r e 1 . 2 I l l u s t r a t i o n s o f a A u g m e n t e d R e a l i t y A R a n d b A u g m e n t e d V i r t u a l i t y

A V .

i . e . v i r t u a l i m a g e s , o f a v i r t u a l a r t i s t o n o n e s i d e o f t h e l a k e s k e t c h i n g a v i r t u a l t r e e

o n t h e o t h e r s i d e . A l t h o u g h w e , t h e v i e w e r s o f t h e p i c t u r e , c o m p r e h e n d t h e c o n t e n t

e a s i l y , t h e c o m p u t e r i s p r e s u m e d t o h a v e n o m o d e l w h a t s o e v e r o f t h e c o n t e n t o f t h e

p h o t o g r a p h i c i m a g e , a n d t h u s , t o t h e c o m p u t e r , t h e l o c a t i o n o f t h e v i r t u a l i m a g e s

r e l a t i v e t o t h e r e a l i m a g e i s m e a n i n g l e s s .

T h e c o n v e r s e c a s e , a n e x a m p l e o f A u g m e n t e d V i r t u a l i t y , i s i l l u s t r a t e d s c h e m a t -

i c a l l y i n F i g u r e 1 . 2 b . H e r e w e s e e a c o m p l e t e l y m o d e l l e d 3 D w o r l d , c o m p r i s i n g a

s e r i e s o f v i r t u a l 3 D b l o c k s l o c a t e d o n a v i r t u a l p l a n e . I n o r d e r t o d r a w t h e s e o b j e c t s ,

t h e c o m p u t e r m u s t h a v e a m o d e l o f a l l o f t h e i r d i m e n s i o n s a n d l o c a t i o n s . I n a d d i -

t i o n , a p h o t o g r a p h o f a g r o u p o f p e o p l e , c o m p r i s i n g r e a l d a t a , h a s b e e n a d d e d , a t

a s p e c i c l o c a t i o n . A l t h o u g h t h e c o m p u t e r m u s t h a v e k n o w l e d g e a b o u t w h e r e t h e

r e a l i m a g e p h o t o g r a p h h a s b e e n p l a c e d , w e c a n n o t a s s u m e t h a t a n y k n o w l e d g e i s

h e l d a b o u t t h e c o n t e n t o f t h a t i m a g e .

F i g u r e 1 . 2 i s o b v i o u s l y c o n t r i v e d , t o f a c i l i t a t e c o m p r e h e n s i o n o f t h e d i s t i n c t i o n

b e t w e e n t h e c o n c e p t o f a n u n d e r l y i n g r e a l w o r l d a n d a n u n d e r l y i n g v i r t u a l w o r l d . T o

s h o w h o w t h e s e c o n c e p t s m a n i f e s t t h e m s e l v e s i n r e l a t i o n t o a c t u a l p r a c t i c a l a p p l i c a -

t i o n s , w e p r e s e n t t w o m o r e e x a m p l e s . T h e r s t e x a m p l e , o f A R , i s s h o w n i n F i g u r e

1 . 3 , w h i c h i s f r o m o u r o w n l a b o r a t o r y a n d i l l u s t r a t e s A R T E M I S , o u r A u g m e n t e d

R e a l i t y T E l e M a n i p u l a t i o n I n t e r f a c e S y s t e m 1 6 1 7 . I n t h e g u r e w e s e e a r e a l

r o b o t s i t u a t e d w i t h i n a r e a l e n v i r o n m e n t . A l t h o u g h t h e r e a l e n v i r o n m e n t i s c o m -

p l e t e l y u n m o d e l l e d , w e d o p o s s e s s a m o d e l o f t h e r e a l r o b o t , r e g i s t e r e d t o r e a l - w o r l d

c o o r d i n a t e s . T h i s p e r m i t s u s t o s u p e r i m p o s e a m o d e l l e d s t e r e o s c o p i c a l l y p r e s e n t e d

v i r t u a l r o b o t o n t o p o f t h e r e a l r o b o t , a s d e p i c t e d i n t h e g u r e . A s d e s c r i b e d e l s e -

w h e r e 1 6 1 7 , t h i s s e t - u p e n a b l e s a n o p e r a t o r t o p i c k u p a n d d e p o s i t t h e r e a l o b j e c t s

d e p i c t e d i n t h e i m a g e e v e n t h o u g h t h e y a r e n o t m o d e l l e d s i m p l y b y a l i g n i n g t h e

v i r t u a l e n d e e c t o r i n t h e 3 D w o r k s p a c e w i t h t h e o b j e c t s t o b e m a n i p u l a t e d a n d

t h e n t r a n s m i t t i n g t h e r o b o t j o i n t c o o r d i n a t e s t o t h e r e m o t e s i t e a t t h e a p p r o p r i a t e

m o m e n t .

A s a c o n v e r s e e x a m p l e , o f A u g m e n t e d V i r t u a l i t y t h i s t i m e , w e p r e s e n t F i g u r e

1 . 4 , w h i c h i s a s c r e e n d u m p o f a n i m a g e p r o d u c e d w i t h C y b e r w o r l d

r

s o f t w a r e

w w w . c y b e r w o r l d c o r p . c o m , a c o m m e r c i a l p r o d u c t w h i c h i s u s e d t o c r e a t e r e a l i s t i c

3 D w e b p a g e s " . T o g e n e r a t e t h e C h r i s t m a s s c e n e s h o w n h e r e , a 3 D v i r t u a l w o r l d h a s

b e e n c r e a t e d , c o m p r i s i n g a l a r g e p u b l i c s q u a r e . A m i n i a t u r e p l a n v i e w o f t h e s q u a r e


5/26


i s s h o w n a t t h e b o t t o m r i g h t c o r n e r . H o w e v e r , t h e b u i l d i n g s , t h e C h r i s t m a s t r e e ,

S a n t a C l a u s , t h e c a r o l l e r s a n d a l l o f t h e o t h e r o b j e c t s i n t h e p i c t u r e a r e s u p e r i m p o s e d

2 D p h o t o g r a p h i c i m a g e s , b u t w i t h k n o w n l o c a t i o n s i n t h e 3 D v i r t u a l w o r l d .

F i g u r e 1 . 3 A R T E M I S A u g m e n t e d R e a l i t y s y s t e m : V i r t u a l r o b o t i n t h i s c a s e p o l y g o n

l l e d i s o v e r l a i d o n t o a m o d e l l e d r e a l r o b o t , w i t h i n a n o t h e r w i s e c o m p l e t e l y u n m o d e l l e d

w o r l d s e e c o l o r p a g e s .

F i g u r e 1 . 4 E x a m p l e o f A u g m e n t e d V i r t u a l i t y A V : S u p e r p o s i t i o n o f r e a l i m a g e s a n d

t e x t u r e m a p p i n g o n t o a v i r t u a l 3 D w o r l d s e e c o l o r p a g e s . C o m p o s e d u s i n g C y b e r w o r l d

r

s o f t w a r e .

1 . 1 . 3 E x p l o r i n g t h e R e a l i t y - V i r t u a l i t y C o n t i n u u m

T h u s f a r , w e h a v e p r e s e n t e d o n l y i l l u s t r a t i o n s w h i c h p u r p o s e l y e m p h a s i s e t h e m a j o r

d i s t i n c t i o n s b e t w e e n f u n d a m e n t a l l y o p p o s i n g R V m i x t u r e s . H o w e v e r , a l t h o u g h t h e

t w o t e r m s A u g m e n t e d R e a l i t y a n d A u g m e n t e d V i r t u a l i t y s u p p o r t t h e s e d i s t i n c t i o n s ,


6/26


i n t h e e n s u i n g d i s c u s s i o n w e s h o w t h a t i t i s n o t a l w a y s a s s i m p l e a s i n t h e p r e c e d i n g

e x a m p l e s t o d i s t i n g u i s h b e t w e e n A R a n d A V . W e s h a l l t h u s a r g u e t h a t t h e m o r e e n -

v e l o p i n g t e r m , M i x e d R e a l i t y , b e c o m e s n e c e s s a r y , t o e n c o m p a s s i n a l e s s c o n s t r a i n e d

w a y a l l m i x t u r e s b e t w e e n t h e p o l e s o f t h e R V c o n t i n u u m .

T o t h i s e n d , w e p r e s e n t F i g u r e 1 . 5 , w h i c h i l l u s t r a t e s s c h e m a t i c a l l y a s e l e c t i o n o f

i m a g e c o m p o s i t e s t h a t c o u l d b e e n c o u n t e r e d w h e n o n e t r a v e r s e s t h e R V C o n t i n u u m .

O n a g l o b a l l e v e l , F i g u r e 1 . 5 c o r r e s p o n d s t o t h e s a m e l e f t - t o - r i g h t R V C o n t i n u u m

s h o w n a l o n g t h e t o p p a r t o f F i g u r e 1 . 1 . T h e d i e r e n c e h e r e , h o w e v e r , i s t h a t F i g u r e

1 . 5 h i g h l i g h t s t h e v a r i e t y o f w a y s i n w h i c h t h e r e a l c o m p o n e n t s R a n d t h e v i r t u a l

c o m p o n e n t s V o f a n i m a g e m a y b e m i x e d . I n t e r m s o f o u r e a r l i e r e x a m p l e s ,

f o r i n s t a n c e , F i g u r e 1 . 3 a n d t h e l e f t h a n d s i d e A R e x a m p l e i n F i g u r e 1 . 2 a c o u l d

b e c o n s i d e r e d t o c o r r e s p o n d t o B l o c k 8 o r 9 i n F i g u r e 1 . 5 , i n t h e s e n s e t h a t w e

h a v e a p r e d o m i n a n t l y r e a l e n v i r o n m e n t , o r b a c k g r o u n d , w i t h a f e w " v i r t u a l o b j e c t s

s u p e r i m p o s e d . T h e A V e x a m p l e i n F i g u r e 1 . 2 b a n d i n F i g u r e 1 . 4 , f u r t h e r m o r e , w o u l d

c o r r e s p o n d h e r e t o B l o c k s 4 o r 6 o r 7 , f o r a n a l o g o u s r e a s o n s .

REAL(R)

VIRTUAL(V)

V

R

R

RV

RV

V

RR

V

R

R

R

VV

RV

VV

R

1

R

V

2 3

4

5

6 7

8

910

11

V

R

12V

F i g u r e 1 . 5 M i x e d R e a l i t y c o m b i n a t i o n s p a c e .

I n p r e s e n t i n g F i g u r e 1 . 5 , w e w e r e p r o m p t e d b y a n u m b e r o f c a s e s i n t h e l i t e r a t u r e

f o r w h i c h i t i s n o t a l w a y s o b v i o u s w h e t h e r t h e p r i m a r y e n v i r o n m e n t , o r s u b s t r a -

t u m " , i s r e a l o r v i r t u a l . O n e g o o d e x a m p l e o f t h i s i s t h e P e l o t o n s p o r t s s i m u l a t o r

d e s c r i b e d b y C a r r a r o a n d c o l l e a g u e s 1 8 . P e l o t o n i s a b i c y c l e s i m u l a t o r w h i c h s i m -

u l a t e s a v i r t u a l r o a d c o u r s e f o r w a l k i n g , r u n n i n g a n d b i c y c l e r i d i n g . U s e r s s t a n d o n

a t r e a d m i l l a n d l o c o m o t e t h r o u g h a n e n v i r o n m e n t w h i c h c o m p r i s e s a c o m p u t e r g e n -

e r a t e d v i r t u a l s u r r o u n d , i n t h e m i d d l e o f w h i c h i s p l a c e d a v i d e o w i n d o w , t e x t u r e

m a p p e d o n t o a l a r g e r e c t a n g l e , o r v i d e o s c r e e n " . I n t e r m s o f F i g u r e 1 . 5 , t h e P e l o t o n

s y s t e m t h e r e f o r e c o r r e s p o n d s t o B l o c k 3 . I n t h e S I G G R A P H r e f e r e n c e c i t e d 1 8 ,

t h e a u t h o r s d e s c r i b e t h e i r s i m u l a t i o n o f a b i c y c l e p a t h t h r o u g h N e w Y o r k ' s C e n t r a l

P a r k , w i t h e m p h a s i s p l a c e d o n t h e i r m e t h o d o f b l e n d i n g t h e i n t e r n a l r e a l v i d e o

w i n d o w w i t h t h e s u r r o u n d i n g v i r t u a l g r a p h i c s w i n d o w .

I n t h e f o l l o w i n g w e p r e s e n t a n a n a l o g o u s c a s e , b u t e x t e n d t h e c o n c e p t s o m e w h a t .

W h a t w e s h a l l d o i s i l l u s t r a t e w h a t a j o u r n e y a l o n g t h e R V c o n t i n u u m m i g h t l o o k


7/26


( a )

( b )( c )

( d )

( e )

F i g u r e 1 . 6 U n i v e r s i t y o f T o r o n t o E T C L a b , a s e x p e r i e n c e d t h r o u g h a j o u r n e y a l o n g t h e

R V c o n t i n u u m s e e c o l o r p a g e s .

l i k e , a s w e t r a v e l a l o n g t h e t r a j e c t o r y 5 - 4 - 2 - 1 - 8 i n F i g u r e 1 . 5 . O u r p o i n t o f d e p a r t u r e

i s i l l u s t r a t e d i n F i g u r e 1 . 6 a , w h i c h s h o w s a v i r t u a l m o d e l o f p a r t o f o u r l a b o r a t o r y

a t t h e U n i v e r s i t y o f T o r o n t o E T C L a b . B e c a u s e t h i s i s a v i r t u a l m o d e l , t h e i m a g e

i n F i g u r e 1 . 6 a c o r r e s p o n d s t o B l o c k 5 a b o v e .

T o c o n t i n u e t h e j o u r n e y , w e o p e n t h e d o o r i n F i g u r e 1 . 6 a a n d p r o j e c t a r e a l

i m a g e o f t h e a d j o i n i n g r o o m o n t o t h e d o o r w a y , a s s h o w n i n F i g u r e 1 . 6 b . T h i s p i c t u r e

t h e r e f o r e c o r r e s p o n d s t o B l o c k 4 o f F i g u r e 1 . 5 . A s w e a p p r o a c h t h e r e a l p o r t a l

f r a m e d b y t h e d o o r w a y , i n F i g u r e 1 . 6 c , t h e c o m p o s i t e i m a g e b e c o m e s p r o p o r t i o n a t e l y

m o r e r e a l a n d l e s s v i r t u a l , c o r r e s p o n d i n g t o B l o c k 2 i n F i g u r e 1 . 5 . F i n a l l y , a s w e

a d v a n c e a l l t h e w a y t h r o u g h t h e r e a l p o r t a l , i n F i g u r e 1 . 6 d , w e e n t e r i n t o a c o m p l e t e l y

r e a l e n v i r o n m e n t , c o r r e s p o n d i n g t o t h e R e a l e x t r e m u m i n B l o c k 1 a t t h e l e f t s i d e

o f F i g u r e 1 . 5 .

A n o t h e r i m p o r t a n t a s p e c t o f t h e s c h e m a t i c r e p r e s e n t a t i o n o f F i g u r e 1 . 5 i s t h e

e s s e n t i a l l y c i r c u l a r n a t u r e o f t h e R V c o n t i n u u m . T h a t i s , i n t h e d e s c r i p t i o n a b o v e ,

w e h a v e t r a v e r s e d t h e c o n t i n u u m , f r o m r i g h t t o l e f t , c o r r e s p o n d i n g t o a t r a n s i t i o n

f r o m a c o m p l e t e l y v i r t u a l e n v i r o n m e n t t o a c o m p l e t e l y r e a l o n e . I n F i g u r e 1 . 6 w e

a l s o i l l u s t r a t e , h o w e v e r , t h a t i t i s n o t n e c e s s a r y t o t r a v e l a l o n g t h e s a m e t r a j e c t o r y

i n r e v e r s e t o r e t u r n t o t h e v i r t u a l s i d e . R a t h e r , a s i l l u s t r a t e d i n F i g u r e 1 . 6 e , w e

h a v e t u r n e d t h e n e x t d o o r w a y i n t o a v i r t u a l p o r t a l , d e p i c t i n g a n a d j o i n i n g v i r t u a l

c o n f e r e n c e r o o m . F i g u r e 1 . 6 e t h e r e f o r e c o r r e s p o n d s t o B l o c k 8 i n F i g u r e 1 . 5 .


8/26


C l e a r l y , i t i s p o s s i b l e t o c o n t i n u e i n t h i s m a n n e r , e n t e r c o m p l e t e l y i n t o t h e v i r t u a l

r o o m , a n d t h u s t r a v e r s e t h e b o t t o m p a t h o f F i g u r e 1 . 5 t o g e t b a c k t o B l o c k 5 .

1 . 1 . 4 D e n i n g t h e P r i n c i p a l E n v i r o n m e n t

O n e c o n s e q u e n c e o f t h e a b o v e d i s c u s s i o n i s t h a t t h e d i s t i n c t i o n b e t w e e n A R a n d A V

i l l u s t r a t e d i n F i g u r e 1 . 2 i s n o t n e c e s s a r i l y a s s i m p l e a s s h o w n t h e r e . I n t h e p r e c e d i n g

e x a m p l e , w e s h o w e d t h a t v i r t u a l a n d r e a l e n v i r o n m e n t s c a n o w " i n t o e a c h o t h e r

r e c u r s i v e l y . A s o m e w h a t d i e r e n t i l l u s t r a t i o n o f t h i s o c c u r s i f w e r e - e x a m i n e t h e

c a s e s s h o w n i n F i g u r e 1 . 2 . S u p p o s e t h a t w e c o n t i n u e t o a d d m o r e a n d m o r e v i r t u a l

o b j e c t s t o a n A R i m a g e s u c h a s F i g u r e 1 . 2 a , t h e r e b y m o v i n g e e c t i v e l y f r o m t h e c a s e

o f B l o c k 8 t o B l o c k 9 a n d t h e n t o B l o c k 1 0 i n F i g u r e 1 . 5 . E v e n t u a l l y , i f t h e

e n t i r e v i s i b l e i m a g e , o r v i e w p o r t , c o n s i s t e d o f v i r t u a l o b j e c t s , o n e c o u l d a r g u e t h a t

w e h a d a r r i v e d a t t h e c o m p l e t e l y v i r t u a l c a s e o f B l o c k 5 i n F i g u r e 1 . 5 . T h i s w o u l d

b e t r u e , h o w e v e r , o n l y i f w e p o s s e s s c o m p l e t e q u a n t i t a t i v e i n f o r m a t i o n a b o u t h o w a l l

t h e v a r i o u s v i r t u a l o b j e c t s r e l a t e t o e a c h o t h e r w i t h i n t h e 3 D s p a c e o f t h e i m a g e .

O t h e r w i s e , t h i s w o u l d n o t t o u r d e n i t i o n o f a c o m p l e t e l y v i r t u a l e n v i r o n m e n t ,

p r e s e n t e d a b o v e .

A n a l o g o u s l y , i f w e w e r e t o c o m m e n c e w i t h a n A V i m a g e s u c h a s F i g u r e 1 . 2 b ,

a d d m o r e a n d m o r e s a m p l e d d a t a i m a g e s t o i t , u n t i l t h e s c e n e a p p e a r e d t o t a l l y

r e a l , i t w o u l d g i v e t h e i m p r e s s i o n t h a t w e h a d m i g r a t e d f r o m B l o c k 4 t o B l o c k 7

t o B l o c k 6 a n d n a l l y t o B l o c k 1 i n F i g u r e 1 . 5 . F i g u r e 1 . 4 i s a g o o d e x a m p l e

o f w h a t s u c h a n i m a g e m i g h t l o o k l i k e . H o w e v e r , a s l o n g a s w e r e t a i n q u a n t i t a t i v e

i n f o r m a t i o n a b o u t t h e s p a t i a l r e l a t i o n s h i p a m o n g t h e v a r i o u s r e a l i m a g e c o m p o n e n t s

r e l a t i v e t o e a c h o t h e r a n d o r t o t h e u n d e r l y i n g v i r t u a l w o r l d , w e c o u l d n o t c o n s i d e r

t h e n a l i m a g e t o c o n f o r m t o B l o c k 1 , w h i c h r e q u i r e s t h a t t h e w o r l d b e c o m p l e t e l y

u n m o d e l l e d .

T h e c o n c l u s i o n t o b e d r a w n f r o m t h e s e e x a m p l e s i s t h a t , a c c o r d i n g t o t h e o p e r a -

t i o n a l d e n i t i o n p r o p o s e d i n F i g u r e 1 . 1 , i t i s n o t n e c e s s a r i l y t r u e t h a t a n e n v i r o n m e n t

i s c o m p l e t e l y v i r t u a l i f a l l o f t h e c o m p o n e n t v i s i b l e o b j e c t s i n i t a r e c o m p u t e r g e n -

e r a t e d , a n d i t i s a l s o n o t n e c e s s a r i l y t r u e t h a t a w o r l d i s c o m p l e t e l y r e a l i f a l l o f t h e

v i s i b l e o b j e c t s i n i t a r e s a m p l e d a t a i m a g e s . F u r t h e r m o r e , d e t e r m i n i n g w h e t h e r a n

i m a g e s h o u l d b e c o n s i d e r e d A u g m e n t e d R e a l i t y o r A u g m e n t e d V i r t u a l i t y i s a l s o n o t

n e c e s s a r i l y a m a t t e r o f s i m p l y s u m m a t i n g t h e r e s p e c t i v e a r e a s o f r e a l a n d v i r t u a l

i m a g e s i n o r d e r t o d e t e r m i n e a m a j o r i t y " p o r t i o n o f r e a l o r v i r t u a l . A p r a c t i c a l

e x a m p l e o f a n e x t r e m e c a s e o f A R i s t h a t i n w h i c h a n u n d e r l y i n g s c e n e i s c r e a t e d

f r o m 3 D r a n g e i m a g e d a t a , b u t t h e n h a s c o m p u t e r g e n e r a t e d p o l y g o n s m a p p e d o n t o

i t t o c r e a t e t h e a p p e a r a n c e o f a c o n t i n u o u s m o d e l l e d s u r f a c e r a t h e r t h a n d i s c r e t e l y

s a m p l e d p o i n t s 2 1 3 7 . A n a l o g o u s l y , w e h a v e s e e n t h a t a n i m a g e m a y b e c o n -

s i d e r e d A V , f o r i n s t a n c e , e v e n i f e s s e n t i a l l y a l l v i s i b l e e l e m e n t s i n i t a r e d e r i v e d

f r o m s a m p l e d r e a l d a t a , b u t h a v e b e e n t e x t u r e m a p p e d o n t o a c o m p l e t e l y m o d e l l e d

u n d e r l y i n g v i r t u a l w o r l d .

1 . 1 . 5 D e n i t i o n o f M i x e d R e a l i t y

W e c o n c l u d e t h i s s e c t i o n b y p r e s e n t i n g F i g u r e 1 . 7 , w h i c h e s s e n t i a l l y r e p e a t s t h e R V

s p e c t r u m o f F i g u r e 1 . 1 , b u t w i t h t h e g e n e r i c c a s e s o f A u g m e n t e d R e a l i t y A R ,


9/26

1 . 2 C e n t r i c i t y a n d C o n t r o l I s s u e s A s s o c i a t e d W i t h M i x e d R e a l i t y 9

A u g m e n t e d V i r t u a l i t y A V a n d M i x e d R e a l i t y M R i n d i c a t e d e x p l i c i t l y n o w . T h e

p o r t i o n s o f t h e i l l u s t r a t i o n c o r r e s p o n d i n g t o t h e t e r m s i n d i c a t e d w i l l t h u s s e r v e a s o u r

d e n i t i o n s o f A R , A V a n d M R . N o t e t h a t t h e A R s e g m e n t o f t h e c o n t i n u u m c o v e r s

a p o r t i o n o f t h e R V c o n t i n u u m a d j a c e n t t o , b u t e x c l u d i n g , t h e r e a l e n v i r o n m e n t

e x t r e m e a n d , s i m i l a r l y , t h e A V s e g m e n t l i e s a d j a c e n t t o , b u t e x c l u d i n g , t h e v i r t u a l

e n v i r o n m e n t e n d . E n c o m p a s s i n g b o t h A R a n d A V , t h e M R p o r t i o n o f t h e R V

c o n t i n u u m c o v e r s e s s e n t i a l l y t h e e n t i r e b r e a d t h o f t h e s p e c t r u m , b u t a l s o e x c l u d e s

t h e e n d p o i n t s . I n c l o s i n g , w e r e i t e r a t e t h a t i t i s o u r h o p e t h a t t h e t e r m s d i s c u s s e d

h e r e w i l l s e r v e a u s e f u l p u r p o s e i n d i s t i n g u i s h i n g t h e v a r i o u s c o n t e x t s w i t h i n w h i c h

d i v e r s e r e s e a r c h i n t h e e l d o f M i x e d R e a l i t y i s c u r r e n t l y b e i n g c a r r i e d o u t , e v e n

t h o u g h i n p r a c t i c e t h e d i s t i n c t i o n s a r e o f t e n n o t a l w a y s e a s i l y r e c o g n i s e d .

F i g u r e 1 . 7 D e n i t i o n o f M i x e d R e a l i t y , w i t h i n t h e C o n t e x t o f t h e R V C o n t i n u u m .

1 . 2 C e n t r i c i t y a n d C o n t r o l I s s u e s A s s o c i a t e d W i t h

M i x e d R e a l i t y

I n t h i s s e c t i o n w e r e v i e w s o m e o f t h e i s s u e s w h i c h m a y a r i s e w h e n w o r k i n g w i t h

c o m p l e x M i x e d R e a l i t y w o r l d s , f r o m t h e p o i n t o f v i e w o f d e n i n g a n a p p r o p r i a t e

v i e w p o i n t f o r t h e o b s e r v e r r e l a t i v e t o t h e o b j e c t s o f i n t e r e s t . O n e o f t h e f u n d a m e n t a l

p r o b l e m s w h i c h c a n o c c u r , f o r e x a m p l e , r e l a t e s t o t h e f a c t t h a t v i r t u a l e n v i r o n m e n t s

c a n g e n e r a l l y b e p r e s e n t e d f r o m a n y d e s i r e d v i e w p o i n t , w h e r e a s t h e p e r s p e c t i v e o f

r e a l d a t a c a n n o t o r d i n a r i l y b e c h a n g e d .

2

T h i s d i s c u s s i o n w i l l l e a d u s i n a s u b s e q u e n t

s e c t i o n t o t h e p a r a l l e l p r o b l e m s o f t r a n s i t i o n s b e t w e e n v i r t u a l a n d r e a l w o r l d s a l o n g

t h e R V c o n t i n u u m a n d o f m a i n t a i n i n g s u i t a b l e c o n t r o l - d i s p l a y r e l a t i o n s h i p s w h e n

d o i n g s o .

1 . 2 . 1 C a s e S t u d y : R e m o t e M i x e d R e a l i t y E x c a v a t i o n

T o i l l u s t r a t e t h e p r o b l e m , w e s h a l l u s e a s a c a s e s t u d y a r e m o t e l y c o n t r o l l e d M R e x -

c a v a t o r , e l e m e n t s o f w h i c h h a v e b e e n r e p o r t e d e l s e w h e r e , u n d e r t h e a c r o n y m V E R O

V i r t u a l E n v i r o n m e n t s f o r R e m o t e O p e r a t i o n s 1 9 2 0 . T h e o r i g i n a l V E R O s y s t e m

i s c u r r e n t l y b e i n g f o l l o w e d u p b y a n o t h e r p r o j e c t d u b b e d I I R O I n t e l l i g e n t I n t e r -

a c t i v e R e m o t e O p e r a t i o n s , i n w h i c h w e a r e d e s i g n i n g a n i n t e r f a c e t o a l l o w b o t h

2

N o t e t h a t t h i s p r o b l e m p e r t a i n s n o t o n l y t o 2 D i m a g e s , b u t a l s o t o s a m p l e d 3 D d a t a i m a g e s

w h i c h a r e o r d i n a r i l y l i m i t e d i n t h e a m o u n t o f v i e w p o i n t a l t e r a t i o n t h a t i s f e a s i b l e , d u e t o p r o b l e m s

o f m i s s i n g d a t a a n d t h e o c c l u s i o n o f s o m e o b j e c t s b y o t h e r s .


10/26

1 0 A T a x o n o m y o f R e a l a n d V i r t u a l W o r l d D i s p l a y I n t e g r a t i o n

t e l e o p e r a t i o n o f t h e r e m o t e e x c a v a t o r , a s w e l l a s a s p a c e r o b o t i c a r m , a n d t h e b u i l d -

i n g o f s c r i p t s f o r s u p e r v i s e d c o n t r o l o f e i t h e r o n e o f t h e s e t e l e o p e r a t o r s o v e r l o n g

t i m e d e l a y c o m m u n i c a t i o n c h a n n e l s .

A s a m p l e d i s p l a y s c r e e n r e l a t e d t o t h e I I R O p r o j e c t i s g i v e n i n F i g u r e 1 . 8 , w h e r e

t h e i m a g e s h o w n c o m p r i s e s a v i r t u a l m o d e l o f a n a c t u a l e x c a v a t o r s i t u a t e d a t a

r e m o t e w o r k s i t e . T h e j o i n t a n g l e s o f t h e r e a l e x c a v a t o r h a v e b e e n t r a n s m i t t e d t o

t h e l o c a l h u m a n i n t e r f a c e , t h e r e b y p e r m i t t i n g r e p o s i t i o n i n g o f t h e m o d e l w i t h t h e

p r o p e r p o s e , a s w o u l d b e s e e n f r o m t h e r e m o t e l y l o c a t e d c a m e r a e x t e r n a l t o t h e

e x c a v a t o r . T h a t c a m e r a i s c a p a b l e o f g e n e r a t i n g b o t h l i g h t i n t e n s i t y i m a g e s i . e .

v i d e o a n d 3 D l a s e r r a n g e i m a g e s . B e c a u s e c o m m u n i c a t i o n w i t h t h e r e m o t e s i t e i s

p o o r , w e a s s u m e t h a t t h e c a m e r a i m a g e c a n n o t b e u p d a t e d f r e q u e n t l y , h e n c e t h e

n e e d f o r i n t e r p o l a t i o n a n d e n h a n c e m e n t u s i n g a v i r t u a l m o d e l .

I n F i g u r e 1 . 8 a d e f o r m a b l e m o d e l o f t e r r a i n h a s b e e n c r e a t e d b y m a p p i n g a

s k i n " o f s i m p l e p o l y g o n s o n t o a e l d o f 3 D l a s e r r a n g e d a t a o b t a i n e d f r o m s c a n n i n g

a c t u a l t e r r a i n e l e v a t i o n s 2 1 . T h e v i d e o i m a g e i n t h e c e n t r e o f t h e g u r e h a s b e e n

i n s e r t e d a s a b i l l b o a r d " d i s p l a y , t h a t i s , a s a v i r t u a l 2 D s c r e e n u p o n w h i c h h a v e

b e e n p r o j e c t e d r e a l l i g h t i n t e n s i t y d a t a f r o m t h e l a s e r r a n g e c a m e r a . N o t e t h e b a r r e l

i n t h e c e n t r e o f t h e i m a g e . T h e p o r t i o n o u t s i d e t h e v i d e o w i n d o w h a s b e e n c r e a t e d

f r o m a p r i o r C A D m o d e l a n d r e g i s t e r e d t o t h e l a s e r r a n g e b a s e d i m a g e . T h e p o r t i o n

i n s i d e t h e v i d e o w i n d o w r e p r e s e n t s a r e c e n t u p d a t e o f t h e r e m o t e w o r l d . B e c a u s e

t h e e x t e r n a l c a m e r a i s s t a t i o n a r y , t h e t w o p a r t s o f t h e s a m e b a r r e l m a t c h e a c h o t h e r

s e a m l e s s l y .

F o u r i m p o r t a n t a d v a n t a g e s o f t h i s m i x e d r e a l i t y i m a g e a r e i l l u s t r a t e d i n F i g u r e

1 . 8 :

T h e l i g h t i n t e n s i t y i m a g e i n s i d e t h e v i d e o w i n d o w s h o w s m u c h m o r e d e t a i l

t h a n w o u l d b e p o s s i b l e w i t h t h e 3 D r a n g e i m a g e d a t a .

B e c a u s e t h e t i m e t a k e n t o u p d a t e a 3 D r a n g e i m a g e s c a n o f a s c e n e i s m u c h

l o n g e r t h a n a l i g h t i m a g e v i d e o s c a n , t h e p o r t i o n i n s i d e t h e w i n d o w i s l i k e l y

t o r e p r e s e n t m u c h m o r e r e c e n t i n f o r m a t i o n .

T h e v i r t u a l p o r t i o n s o f t h e s c e n e p r o v i d e t h e m e a n s t o s i m u l a t e i n t e r v e n t i o n

o p e r a t i o n s a n d i n t e r a c t i o n s , i n s p i t e o f t h e l a r g e t i m e d e l a y .

C o n s i s t e n t w i t h t h e p o i n t s a b o v e , t h e p o r t i o n i n s i d e t h e w i n d o w a l l o w s o n e

e a s i l y t o d e t e c t d e p a r t u r e s f r o m a n y m o d e l l e d p o r t i o n s o f t h e s c e n e . I n p a r -

t i c u l a r , F i g u r e 1 . 8 s h o w s a s e c o n d b a r r e l p o s s i b l y c o n t a i n i n g t o x i c w a s t e , f o r

e x a m p l e w i t h i n t h e v i d e o w i n d o w , w h i c h h a d n o t b e e n e x p e c t e d a n d t h u s h a d

n o t p r e v i o u s l y b e e n r e g i s t e r e d t o t h e i m a g e , a s w a s t h e o t h e r b a r r e l .

I n t e r m s o f t h e d e n i t i o n s p r e s e n t e d i n S e c t i o n 1 . 1 , i t i s i n t e r e s t i n g t o c o n s i d e r

w h e t h e r F i g u r e 1 . 8 i s a n e x a m p l e o f A R o r o f A V . B e c a u s e t h e t e r r a i n h a s b e e n

r e c r e a t e d f r o m s a m p l e d 3 D r a n g e d a t a , i t i s u n m o d e l l e d , s u c h t h a t t h e f o u n d a t i o n

o f t h e i m a g e , o r s u b s t r a t u m , i s t h e r e f o r e r e a l . B y v i r t u e o f t h e a d d i t i o n o f t h e

m o d e l l e d e x c a v a t o r , a s w e l l a s t h e s u r f a c e m e s h , o r s k i n " , t h i s g u r e c a n t h e r e f o r e

b e c l a s s i e d a s a c a s e o f A u g m e n t e d R e a l i t y . N o t e t h a t s u c h a c l a s s i c a t i o n m i g h t

a p p e a r c o u n t e r - i n t u i t i v e t o m a n y , d u e t o t h e p r o m i n e n c e o f t h e v i r t u a l e x c a v a t o r

a n d t h e v i r t u a l - l o o k i n g " t e r r a i n , s u c h t h a t o n e m i g h t b e t e m p t e d t o c l a s s i f y F i g u r e


11/26

1 . 2 C e n t r i c i t y a n d C o n t r o l I s s u e s A s s o c i a t e d W i t h M i x e d R e a l i t y 1 1

F i g u r e 1 . 8 M i x e d R e a l i t y r e m o t e e x c a v a t i o n e x a m p l e .

1 . 8 a s a n A V i m a g e , e s p e c i a l l y i f t h e v i d e o w i n d o w w e r e n o t p r e s e n t . C o n v e r s e l y

i n f a c t , f r o m t h e p o i n t o f v i e w o f t h e m o d e l l e d e x c a v a t o r , o n e c o u l d a l t e r n a t i v e l y

c o n t e n d t h a t t h e v i r t u a l e x c a v a t o r m o d e l h a s b e e n e n h a n c e d t h r o u g h a d d i t i o n o f t h e

c o m p l e m e n t a r y r e a l w o r l d d a t a , m a k i n g t h e e x a m p l e a r g u a b l y a c a s e o f A u g m e n t e d

V i r t u a l i t y . A s d i s c u s s e d i n S e c t i o n 1 . 1 , t h e r e f o r e , t h e e x a c t c l a s s i c a t i o n c o u l d

c o n c e i v a b l y b e p r e s e n t e d e i t h e r w a y , d e p e n d i n g o n o n e s v i e w p o i n t , t h u s p r o v i d i n g

f u r t h e r j u s t i c a t i o n f o r t h e m o r e e n c o m p a s s i n g t e r m , M i x e d R e a l i t y .

1 . 2 . 2 M R D e s i g n I s s u e s

I n t h i s s e c t i o n w e b r i e y o u t l i n e t h r e e p r o b l e m s a s s o c i a t e d w i t h t h e M R e x c a v a t o r

e x a m p l e d e s c r i b e d a b o v e , a l l r e l a t e d t o t h e i s s u e o f d e n i n g t h e h u m a n o p e r a t o r ' s

v i e w p o i n t r e l a t i v e t o t h e r e m o t e l y c o n t r o l l e d e q u i p m e n t a n d a l l o f w h i c h g e n e r a l i s e

i n s o m e w a y t o a b r o a d e r c l a s s o f M R s y s t e m s .

3

A m u c h m o r e t h o r o u g h t r e a t m e n t o f

t h e c o n s i d e r a t i o n s o u t l i n e d h e r e c a n b e f o u n d i n t h e v a r i o u s p u b l i c a t i o n s o f W i c k e n s

a n d h i s c o l l e a g u e s 2 2 2 6 .

T h e r s t p r o b l e m a s s o c i a t e d w i t h t h e I I R O s c e n a r i o i s t h e k e y h o l e e e c t " , a n

e x c e s s i v e n a r r o w i n g o f a n o b s e r v e r ' s e l d o f v i e w , s o m e w h a t a k i n t o p e e k i n g t h r o u g h

a k e y h o l e 2 7 . A l t h o u g h t h e v i e w w h i c h i s g e n e r a l l y b e s t f o r l o c a l g u i d a n c e a n d c o n -

t r o l o f t h e e x c a v a t o r i s t h e v i e w f r o m t h e c a b , t h a t v i e w p o i n t i s u n f o r t u n a t e l y n o t

u s u a l l y c o n d u c i v e t o m a i n t a i n i n g g l o b a l s i t u a t i o n a l a w a r e n e s s . T h a t i s , d u e t o t h e

3

N o t e t h a t o t h e r t e c h n o l o g i c a l p r o b l e m s n o t d i s c u s s e d i n d e t a i l h e r e m u s t a l s o b e o v e r c o m e , a n

o b v i o u s o n e b e i n g s y s t e m u p d a t e r a t e . D u e t o t h e d e m a n d s o f t h e v a r i o u s l e v e l s o f d e t a i l d e m a n d e d

b y t h e M i x e d R e a l i t y e n v i r o n m e n t , w h i c h i n c l u d e s u p d a t i n g a n d d r a w i n g b o t h m o d e l l e d o b j e c t s

a n d r e a l d a t a o b j e c t s , o n e o f t h e e x p e c t e d c o n s e q u e n c e s i s a s l o w f r a m e r a t e , w h i c h c a n c l e a r l y

h a v e a p o t e n t i a l l y s i g n i c a n t i m p a c t o n t h e e e c t i v e n e s s o f r e m o t e o p e r a t i o n s .


12/26


k e y h o l e e e c t , t h e o p e r a t o r i s n o t a b l e t o l o o k a r o u n d t h e e x c a v a t o r , a s s e s s t h e

s i t u a t i o n , a n d p l a n f u t u r e o p e r a t i o n s 2 3 2 4 . T h i s i s o n e o f t h e m a i n r e a s o n s f o r

p r e s e n t i n g t h e s i d e v i e w s h o w n i n F i g u r e 1 . 8 , r a t h e r t h a n a p e r h a p s m o r e c o n v e n -

t i o n a l t h r o u g h - t h e - w i n d o w v i e w .

T h e s e c o n d p r o b l e m i s t h a t o f d i s t o r t i o n . T h e 2 D v i d e o i m a g e s h o w n i n s i d e

t h e w i n d o w i n F i g u r e 1 . 8 i s c o n g r u e n t w i t h t h e 3 D v i r t u a l w o r l d e l e m e n t s o n l y

w h e n t h e c o l l e c t i v e v i e w p o i n t i s l o c a t e d a t a s t a t i o n p o i n t w h i c h c o r r e s p o n d s t o

t h e l o c a t i o n o f t h e r e m o t e c a m e r a c a p t u r i n g t h e i m a g e . I n o t h e r w o r d s , a l t h o u g h

t h e p e r s p e c t i v e v i e w o e r e d o f t h e v i r t u a l s c r e e n o n t o w h i c h t h e v i d e o w i n d o w i s

m a p p e d i s g e n e r a l l y c o r r e c t r e l a t i v e t o t h e s u r r o u n d i n g v i r t u a l e n v i r o n m e n t , t h e

s a m p l e d d a t a c o n t e n t w i t h i n t h e v i d e o w i n d o w d o e s n o t n e c e s s a r i l y m a t c h t h a t

p e r s p e c t i v e . A v i e w f r o m a n y a n g l e o t h e r t h a n t h a t o f t h e o r i g i n a l c a m e r a a t t i t u d e

w i l l t h e r e f o r e r e s u l t i n a d i s c o n t i n u i t y b e t w e e n t h e v i r t u a l e n v i r o n m e n t a n d t h e v i d e o

i m a g e c o n t e n t s , r e s u l t i n g i n s o m e d e g r e e o f d i s t o r t i o n . I t i s i n t e r e s t i n g t o n o t e t h a t

o n e o f t h e p r i n c i p a l a i m s o f t h e P e l o t o n s y s t e m m e n t i o n e d e a r l i e r i s t o o v e r c o m e t h i s

t y p e o f p r o b l e m 1 8 .

T h e t h i r d p r o b l e m i s t h a t o f c o n t r o l r e v e r s a l s , a s i t u a t i o n i n w h i c h p e r c e p t u a l

c o n f u s i o n c a u s e s a n o p e r a t o r t o e l i c i t a c o n t r o l a c t i o n w h i c h i s o p p o s i t e i n d i r e c t i o n

t o t h e a p p r o p r i a t e a c t i o n a t a p a r t i c u l a r m o m e n t 2 8 . W h e n p r e s e n t i n g t h e k i n d

o f s c e n e s h o w n i n F i g u r e 1 . 8 , f o r e x a m p l e , t h e p o t e n t i a l e x i s t s f o r a m i s m a t c h b e -

t w e e n t h e o u t s i d e - i n d i s p l a y d e p i c t e d a n d c o n v e n t i o n a l i n s i d e - o u t e x c a v a t o r c o n t r o l

d i s p l a y s . A s d i s c u s s e d f u r t h e r , i n S e c t i o n 1 . 2 . 3 , t h i s i s m o s t l i k e l y t o h a v e a n a d -

v e r s e i m p a c t w h e n e v e r t h e o s e t a n g l e b e t w e e n t h e c o n t r o l a c t i o n a n d t h e o b s e r v e d

d i s p l a y i s v e r y l a r g e .

4

1 . 2 . 3 E e c t o f C o n t r o l - D i s p l a y C o m p a t i b i l i t y i n M R E n v i -

r o n m e n t s

T h e p r i n c i p a l c o n c l u s i o n t o b e d r a w n f r o m t h e p r e c e d i n g d i s c u s s i o n i s t h a t , i n c o n -

j u n c t i o n w i t h t h e v a r i o u s a d v a n t a g e s a s s o c i a t e d w i t h m i x i n g r e a l a n d v i r t u a l i m a g e s

i n M R , s u c h a s i m p r o v e d v i s u a l i s a t i o n o f r e a l - w o r l d i m a g e s u s i n g R E v i e w p o r t s a n d

a d d e d v i e w p o i n t e x i b i l i t y u s i n g V E v i e w p o r t s , s i g n i c a n t o p e r a t i o n a l p r o b l e m s m a y

r e s u l t i f c a r e f u l c o n s i d e r a t i o n i s n o t g i v e n t o d e n i n g t h e u s e r ' s f r a m e o f r e f e r e n c e

r e l a t i v e t o t h e M R d i s p l a y a n d t o t h e m a p p i n g b e t w e e n t h e u s e r ' s c o n t r o l a c t i o n s

a n d t h e r e s p o n s e s o f t h e M R d i s p l a y .

D i s p l a y c e n t r i c i t y

B e f o r e d e l v i n g i n t o t h e s e d e s i g n i s s u e s , w e m u s t r s t c l a r i f y t h e m e a n i n g o f t h e t e r m

c e n t r i c i t y " , w h i c h w e u s e h e r e t o r e f e r t o t h e e x t e n t t o w h i c h a h u m a n o b s e r v e r ' s

v i e w p o i n t i s r e m o v e d f r o m t h e o w n s h i p " , t h a t i s , f r o m t h e n o m i n a l v i e w p o i n t w i t h

r e s p e c t t o t h e v i e w e r ' s o w n a v a t a r , o r o w n v e h i c l e , o r o w n m a n i p u l a t o r w i t h i n t h e

t a s k s p a c e . R e f e r r i n g t o t h e e x a m p l e s p r e s e n t e d t h u s f a r i n t h e p a p e r , t h e n o m i n a l

v i e w p o i n t i n F i g u r e 1 . 8 w o u l d b e w i t h i n t h e c a b l o o k i n g o u t , f o r l o c a l c o n t r o l , a n d

4

A c c o r d i n g t o r e s e a r c h b y E l l i s a n d c o l l e a g u e s , c o n t r o l e r r o r s a r e m o s t l i k e l y t o i n c r e a s e s i g -

n i c a n t l y f o r a n g u l a r m i s m a t c h e s b e t w e e n c o n t r o l a n d d i s p l a y a x e s i n t h e v i c i n i t y o f 1 2 0 t o 1 8 0

d e g r e e s 2 9 .


13/26


f r o m o u t s i d e l o o k i n g a t t h e e x c a v a t o r , f o r g l o b a l n a v i g a t i o n a n d p l a n n i n g . W i t h

r e s p e c t t o F i g u r e 1 . 4 a n d F i g u r e 1 . 6 , t h e n o m i n a l v i e w p o i n t w o u l d b e t h r o u g h t h e

e y e s o f a n o b s e r v e r ' s a v a t a r m o v i n g t h r o u g h t h e v a r i o u s s c e n e s p r e s e n t e d . W i t h

r e g a r d t o F i g u r e 1 . 3 , t h e n o m i n a l v i e w p o i n t w i l l d e p e n d o n w h e t h e r o n e i s c o n t r o l l i n g

a l l j o i n t s o f t h e m a n i p u l a t o r i n d e p e n d e n t l y , i n w h i c h c a s e t h e n o m i n a l v i e w p o i n t

m i g h t b e f r o m b e h i n d , c o n s i s t e n t w i t h o n e s v i e w o f o n e s o w n a r m , o r w h e t h e r c o n t r o l

i s r e s o l v e d d i r e c t l y t h r o u g h t h e e n d - e e c t o r , i n w h i c h c a s e t h e n o m i n a l v i e w p o i n t

c o u l d j u s t a s w e l l b e f r o m i n f r o n t o f t h e m a n i p u l a t o r , a s s h o w n i n t h e g u r e .

T h e c o n c e p t o f c e n t r i c i t y i s g e n e r a l i s e d s c h e m a t i c a l l y i n F i g u r e 1 . 9 , w h i c h s h o w s

y e t a n o t h e r c o n t i n u u m , t h i s t i m e a c e n t r i c i t y c o n t i n u u m , t o g e t h e r w i t h i l l u s t r a t i o n s

c o r r e s p o n d i n g t o d i e r e n t c o m b i n a t i o n s o f v i e w i n g p e r s p e c t i v e s o f a n a r b i t r a r y e x -

c a v a t o r . T h e p o i n t a t t h e l e f t o f t h e g u r e c o r r e s p o n d s t o a n e g o c e n t r i c v i e w p o i n t ,

w h i c h o c c u r s w h e n t h e d i s p l a y v i e w p o i n t i s e g o - r e f e r e n c e d . O n t h e a s s u m p t i o n t h a t

t h e n o m i n a l v i e w p o i n t o f t h e e x c a v a t o r s y s t e m i n t h i s c a s e i s a t t h e d r i v e r ' s s e a t

i n s i d e t h e c a b o f t h e e x c a v a t o r a n d l o o k i n g o u t , t h e e g o c e n t r i c c a s e c o r r e s p o n d s t o

t h e v i e w w h i c h w o u l d b e s e e n b y t h a t o p e r a t o r . T h i s i s d e p i c t e d i n t h e g u r e b y

t h e c a m e r a b e i n g m o u n t e d w i t h i n t h e c a b a n d l o o k i n g o u t t h e w i n d o w o f t h e c a b .

T h e e x o c e n t r i c c a s e , i n c o n t r a s t , c o r r e s p o n d s t o a w o r l d r e f e r e n c e d f r a m e w o r k , a s

s h o w n a t t h e r i g h t s i d e o f F i g u r e 1 . 9 , w h e r e t h e c a m e r a s a r e x e d w i t h r e s p e c t t o

t h e e x t e r n a l w o r l d . T h e p r e x e x o " t h u s r e f e r s t o t h e s t a t e o f b e i n g o u t s i d e o f

a n d l o o k i n g a t t h e o w n s h i p " , o r o w n v e h i c l e " , t h a t i s , t h e s t a t e o f l o o k i n g a t t h e

n o m i n a l v i e w i n g p o s i t i o n .

5

Exocentric

(LocalGuidance)

(GlobalAwareness)

3D Ego Reference

Frame

3D Tether

(Rigid)

3D WorldReference Frame

2D WorldReference Frame

Egocentric

F i g u r e 1 . 9 C e n t r i c i t y c o n t i n u u m : I l l u s t r a t i o n o f t r a n s i t i o n f r o m e g o - t o e x o c e n t r i c v i e w -

p o i n t s . A d a p t e d f r o m 2 3 2 4

F i g u r e 1 . 9 c o n v e y s t h e v e r y d i e r e n t e e c t s w h i c h w o u l d r e s u l t i n t h e e g o c e n t r i c

v e r s u s t h e e x o c e n t r i c c a s e s w h e n t h e e x c a v a t o r o r p a r t s o f e x c a v a t o r m o v e . I n t h e

e g o c e n t r i c c a s e , m o v e m e n t o f t h e e x c a v a t o r w o u l d c a u s e t h e v i s u a l d i s p l a y t o c h a n g e

i n t h e s a m e m a n n e r a s i f t h e o p e r a t o r w e r e i n s i d e l o o k i n g o u t t h r o u g h t h e w i n d o w o f

5

A n i n t e r e s t i n g e o r t t o c o m b i n e e l e m e n t s o f b o t h e x o c e n t r i c a n d e g o c e n t r i c v i e w i n g c o n c u r -

r e n t l y , w i t h i n a s i n g l e v i e w p o r t , f o r l a r g e v i r t u a l e n v i r o n m e n t s , i s t h e w o r k o f K i t a m u r a a n d c o l -

l e a g u e s 3 8 .


14/26


t h e c a b ; t h a t i s , t h e w o r l d m o v e s w i t h i n t h e v i e w p o r t w h e n e v e r t h e e x c a v a t o r m o v e s .

T h i s v i e w i s t h u s o f t e n r e f e r r e d t o a s a n i n s i d e - o u t " v i e w . I n t h e e x o c e n t r i c c a s e ,

i n c o n t r a s t , w e h a v e a n o u t s i d e - i n " v i e w a n d , b e c a u s e t h e c a m e r a s a r e x e d , w e

a r e a b l e t o s e e m o v e m e n t s o f t h e o w n s h i p " , a s i f w e w e r e l o o k i n g a t t h e e x c a v a t o r

f r o m a b o v e , o r f r o m t h e s i d e , o r f r o m s o m e o t h e r e x t e r n a l v i e w p o i n t . I n t h a t c a s e ,

i n o t h e r w o r d s , t h e e x c a v a t o r m o v e s w h i l e t h e r e s t o f t h e w o r l d r e m a i n s x e d w i t h i n

t h e v i e w p o r t .

A s w i t h t h e o t h e r c o n t i n u a d i s c u s s e d e a r l i e r , t h e c e n t r i c i t y c o n t i n u u m a l s o e n -

c o m p a s s e s a v a r i e t y o f i n t e r e s t i n g i n t e r m e d i a t e c a s e s . W i c k e n s a n d h i s c o l l e a g u e s

h a v e t r e a t e d t h i s t o p i c v e r y t h o r o u g h l y , t o g e t h e r w i t h t h e i m p l i c a t i o n s o f c e n t r i c i t y

c o n s i d e r a t i o n s w i t h r e s p e c t t o i n t e r f a c e d e s i g n , m o s t p r o m i n e n t l y i n r e l a t i o n t o a v i -

a t i o n d i s p l a y s 2 3 2 4 2 6 , b u t a l s o a s i t r e l a t e s t o s c i e n t i c v i s u a l i s a t i o n 3 0 . O n e

o f t h e i m p o r t a n t m e t a p h o r s i n t r o d u c e d b y W i c k e n s a n d c o l l e a g u e s i n t h i s c o n t e x t i s

t h a t o f a t e t h e r j o i n i n g t h e v i r t u a l c a m e r a w i t h t h e n o m i n a l v i e w p o i n t , t o c o v e r t h e

r a n g e o f c a s e s a l o n g t h e c e n t r i c i t y c o n t i n u u m b e t w e e n t h e e g o - r e f e r e n c e d a n d w o r l d -

r e f e r e n c e d e x t r e m a . I n F i g u r e 1 . 9 t h i s i s d e p i c t e d a s a r i g i d t e t h e r . T h e r e a s o n f o r

u s i n g t h e t e t h e r m e t a p h o r t o r e p r e s e n t i n t e r m e d i a t e c a s e s b e t w e e n p u r e e g o c e n t r i c

a n d p u r e e x o c e n t r i c , a s i n d i c a t e d i n F i g u r e 1 . 9 , i s t h a t m o v e m e n t o f t h e e x c a v a t o r

w i l l c a u s e c o r r e s p o n d i n g m o v e m e n t o f t h e w o r l d a s t h e c a m e r a i s d r a g g e d a l o n g b y

t h e t e t h e r , a s w i t h a n e g o c e n t r i c i n s i d e - o u t d i s p l a y ; h o w e v e r , t h e o b s e r v e r w i l l a l s o

h a v e a m o r e e n c o m p a s s i n g v i e w o f h i s h e r o w n e x c a v a t o r o r a e r o p l a n e o r a u t o m o -

b i l e , a s t h e c a s e m a y b e a n d i t s s u r r o u n d i n g s , a s w i t h a n e x o c e n t r i c o u t s i d e - i n

d i s p l a y .

I t i s i n t e r e s t i n g t o n o t e t h a t , a l t h o u g h t h e c o n c e p t o f e x o c e n t r i c i t y a n d a w o r l d -

r e f e r e n c e d f r a m e a r e h i g h l y r e l a t e d , t h e y a r e n o t e q u i v a l e n t c o n c e p t s . T h i s i s b e c a u s e

w o r l d r e f e r e n c i n g i s e s s e n t i a l l y a n a b s o l u t e c o n c e p t , r e l a t i n g t o w h e t h e r t h e v i r t u a l

c a m e r a i s x e d w i t h i n t h e w o r l d , w h i l e e x o c e n t r i c i t y c a n b e c o n s i d e r e d a r e l a t i v e

c o n c e p t , r e l a t i n g t o w h e r e t h e v i r t u a l c a m e r a i s x e d r e l a t i v e t o t h e n o m i n a l v i e w -

p o i n t . T h i s b e c o m e s e v i d e n t a s o n e e x t e n d s t h e l e n g t h o f t h e t e t h e r . A s t h e v i e w

c o r r e s p o n d i n g t o t h e p o s i t i o n o f t h e v i r t u a l c a m e r a m o v e s f a r t h e r a n d f a r t h e r a w a y

f r o m t h e n o m i n a l v i e w p o i n t w i t h i n t h e o w n s h i p " , o n e g e t s t h e s e n s e o f b e i n g m o r e

a n d m o r e o u t s i d e o f , o r e x o c e n t r i c t o , t h e v e h i c l e . U s i n g t h i s a n a l o g y , t h e r e f o r e , t h e

l o c a t i o n o f t h e o b s e r v e r a l o n g t h e e g o - e x o c e n t r i c i t y c o n t i n u u m c a n b e c o n s i d e r e d t o

c o r r e s p o n d t o t h e e e c t i v e l e n g t h o f t h e t e t h e r .

C o n t r o l - d i s p l a y m a p p i n g

I n c o n j u n c t i o n w i t h e s t a b l i s h i n g t h e u s e r ' s v i e w p o i n t , i t i s c r i t i c a l t o t a k e i n t o a c -

c o u n t t h e m a p p i n g b e t w e e n t h a t v i e w p o i n t a n d t h e u s e r ' s a b i l i t y t o m a n i p u l a t e

o b j e c t s w h e n d e s i g n i n g a M R s y s t e m . A p r a c t i c a l d i s c u s s i o n o f t h e s e c o n s i d e r a t i o n s

i s p r o v i d e d i n t h e f o l l o w i n g s e c t i o n , b a s e d i n l a r g e p a r t o n e a r l i e r s u r v e y l i t e r a t u r e

3 1 3 2 , p r i m a r i l y b y Z h a i 3 3 . I n t h e p r e s e n t s e c t i o n w e d e n e s o m e o f t h e b a s i c

c o n c e p t s .

A s i l l u s t r a t e d i n F i g u r e 1 . 1 0 , t h e c o n g r u e n c e o f m a p p i n g a u s e r ' s i n p u t a c t i o n s t o

r e s p o n s e s i n t h e d i s p l a y s p a c e c a n a l s o b e r e g a r d e d a s a c o n t i n u u m . T h e b a s i c i d e a

i s t h a t , d e p e n d i n g o n t h e m e a n s p r o v i d e d a n d t h e c i r c u m s t a n c e s , a u s e r c a n e e c t

c h a n g e s i n t h e o b s e r v e d s c e n e e i t h e r c o n g r u e n t l y w i t h o r , t o v a r y i n g d e g r e e s , i n c o n -


15/26


g r u e n t l y w i t h r e s p e c t t o t h e f o r m , p o s i t i o n a n d o r i e n t a t i o n o f t h e d e v i c e s p r o v i d e d ,

a s s h o w n a c r o s s t h e t o p o f t h e g u r e . O r d i n a r i l y , a h i g h l y c o n g r u e n t c o n t r o l - d i s p l a y

r e l a t i o n s h i p w i l l c o r r e s p o n d w i t h a n a t u r a l , o r i n t u i t i v e , c o n t r o l s c h e m e , w h e r e a s a n

i n c o n g r u e n t r e l a t i o n s h i p w i l l c o m p e l t h e u s e r t o p e r f o r m a n u m b e r o f m e n t a l t r a n s -

f o r m a t i o n s i n o r d e r t o u s e i t . T h e d e g r e e o f c o n g r u e n c e d e p e n d s o n a n u m b e r o f

f a c t o r s , d e p i c t e d b y t h e i n d i v i d u a l a r r o w s b e n e a t h t h e a l l - e n c o m p a s s i n g c o n g r u e n c y

c o n t i n u u m s h o w n i n t h e g u r e .

F i g u r e 1 . 1 0 C o n t r o l - D i s p l a y C D C o n g r u e n c e C o n t i n u u m .

T h e m o s t e n c o m p a s s i n g f a c t o r , d i r e c t n e s s , r e l a t e s t o w h e t h e r t h e u s e r ' s c o n t r o l

a c t i o n s m a p d i r e c t l y o r i s o m o r p h i c a l l y o n t o t h e d i s p l a y s p a c e o r w h e t h e r s o m e r e a l

o r m e t a p h o r i c a l d e v i c e l i e s b e t w e e n t h e u s e r a n d t h e e n v i r o n m e n t . T h e f o r m e r c a s e

i s n a t u r a l l y q u i t e r e l e v a n t t o t h e e l d o f M i x e d R e a l i t y , w h i c h i n c l u d e s t h e b r o a d

c a t e g o r y o f s e e - t h r o u g h A R d i s p l a y e n v i r o n m e n t s , i n w h i c h t h e u s e r c a n i n t e r a c t

w i t h t h e e n v i r o n m e n t w i t h m a x i m a l d i r e c t n e s s , b y u s i n g h e r o w n h a n d s o r f e e t . A s

o n e d e p a r t s f r o m i s o m o r p h i s m , t h e m e t a p h o r i s t h a t o n e i s u s i n g s o m e k i n d o f a

t o o l " t o m a n i p u l a t e t h e e n v i r o n m e n t . P h y s i c a l l y , t h i s m a y c o m p r i s e a v a r i e t y o f

m a n i p u l a n d a , s u c h a s m i c e , j o y s t i c k s , s t e e r i n g w h e e l s , g l o v e s , w a n d s , e t c . , w i t h t h e

d e g r e e o f d i r e c t n e s s o f t h o s e t o o l s a e c t e d b y t h e o t h e r f a c t o r s s h o w n i n t h e g u r e .

T h e n e x t f a c t o r r e f e r s t o t h e a l i g n m e n t , o r r e l a t i v e l o c a t i o n a n d o r o r i e n t a t i o n

o f t h e c o n t r o l d e v i c e r e l a t i v e t o t h e d i s p l a y s p a c e . A c o n t r o l d i s p l a y C D o s e t

r e f e r s t o a d i s p l a c e m e n t b e t w e e n t h e l o c a t i o n o f t h e c o n t r o l d e v i c e a n d t h e c o r r e -

s p o n d i n g c o n t r o l l e d o b j e c t , a n d o r t o a d i e r e n c e b e t w e e n t h e o r i e n t a t i o n o f t h e s e .

A c o m p l e t e l y a l i g n e d m a p p i n g t h e r e f o r e c o r r e s p o n d s t o d i r e c t c o n t r o l , i n t h e l i n e

a b o v e . C o n v e r s e l y , a s m e n t i o n e d e a r l i e r , r e s e a r c h h a s s h o w n t h a t p e r f o r m a n c e d e -

g r a d e s s i g n i c a n t l y a s t h e s i z e o f t h e C D o s e t i n c r e a s e s 2 9 3 9 . A s w e s h a l l

s e e i n t h e f o l l o w i n g s e c t i o n , t h i s f a c t o r i s e s p e c i a l l y i m p o r t a n t w h e n d e a l i n g w i t h

e x o c e n t r i c d i s p l a y s .

T h e b o t t o m l i n e i n F i g u r e 1 . 1 0 r e f e r s t o t h e t r a n s f o r m a t i o n b e t w e e n i n p u t c o m -

m a n d s t o t h e c o n t r o l d e v i c e a n d t h e r e s u l t i n g r e s p o n s e s o f t h e s y s t e m b e i n g c o n -

t r o l l e d . A t a b a s i c l e v e l t h i s c o r r e s p o n d s t o t h e c o n t r o l o r d e r , t h a t i s , w h e t h e r t h e

c o n t r o l l e r h a s a z e r o , r s t , s e c o n d o r h i g h e r o r d e r t r a n s f e r f u n c t i o n . T h e z e r o o r d e r

c o n t r o l c a s e , a t t h e l e f t o r c o n g r u e n t s i d e o f t h e c o n t i n u u m , c o r r e s p o n d s t o p o s i t i o n

c o n t r o l , i n w h i c h c a s e t h e r e i s a s i m p l e g a i n f a c t o r r e l a t i n g c o n t r o l a n d d i s p l a y r e -


16/26


s p o n s e . F i r s t o r d e r , o r r a t e , c o n t r o l i s l e s s d i r e c t i n t h e s e n s e t h a t a l l i n p u t s t o t h e

c o n t r o l d e v i c e a r e r s t i n t e g r a t e d b e f o r e c o n t r o l i s e e c t e d . S e c o n d o r d e r c o n t r o l

i n v o l v e s p a s s i n g a l l i n p u t s t h r o u g h t w o s t a g e s o f i n t e g r a t i o n , a n d s o f o r t h .

E x a m p l e o f c o n t r o l - d i s p l a y c o m p a t i b i l i t y e e c t s

I n S e c t i o n 1 . 2 . 2 w e m e n t i o n e d s o m e o f t h e p r a c t i c a l i s s u e s i n v o l v e d i n d e s i g n i n g a

p a r t i c u l a r M R s y s t e m , t h e I I R O r e m o t e l y c o n t r o l l e d e x c a v a t o r , w h e r e t h e d i s p l a y

i n v o l v e s a m i x t u r e o f r e a l d a t a a n d m o d e l l e d v i r t u a l o b j e c t s . T h u s f a r i n S e c t i o n

1 . 2 . 3 w e h a v e d e n e d s o m e o f t h e b a s i c c o n c e p t s w h i c h c o n t r i b u t e t o t h o s e d e s i g n

i s s u e s . I n t h e p r e s e n t s e c t i o n w e b r i n g t h e s e c o n c e p t s t o g e t h e r a n d d i s c u s s h o w t h e y

a e c t e a c h o t h e r w i t h i n a u n i e d f r a m e w o r k a n d h o w f a m i l i a r i t y w i t h t h e s e f a c t o r s

c a n b e u s e d t o d e t e r m i n e a n a p p r o p r i a t e v i e w p o i n t i n M R s y s t e m s . T o s i m p l i f y t h e

d i s c u s s i o n , a s w e l l a s e m p h a s i s e t h e g e n e r a l i t y o f t h e s e c o n s i d e r a t i o n s b e y o n d t h e

n a r r o w c o n t e x t o f r e m o t e l y c o n t r o l l e d e x c a v a t o r s , w e p r e s e n t t h e d i s c u s s i o n w i t h i n

t h e f r a m e w o r k o f r e m o t e v e h i c l e c o n t r o l , o r a g e n e r i c v e h i c l e s i m u l a t o r .

I n F i g u r e 1 . 1 1 w e p r e s e n t f o u r c a s e s o f h o w a s i m p l e v e h i c l e s i m u l a t o r m i g h t b e

i m p l e m e n t e d , f r o m t h e p o i n t o f v i e w o f r e a l a n d v i r t u a l i m a g e s , d i s p l a y c e n t r i c i t y

a n d c o n t r o l d i s p l a y m a p p i n g . I n t h e t w o q u a d r a n t s o n t h e l e f t 1 a n d 3 w e h a v e t h e

c a s e o f a n e g o c e n t r i c o u t - t h e - w i n d o w d i s p l a y o f a r o a d w a y , s h o w i n g r e a l d a t a . I n

t h e t w o q u a d r a n t s o n t h e r i g h t 2 a n d 4 w e h a v e t h e s a m e v e h i c l e b e i n g c o n t r o l l e d ,

b u t t h i s t i m e u s i n g a n e x o c e n t r i c , o r w o r l d r e f e r e n c e d , m a p d i s p l a y . I n b o t h o f

t h e d i s p l a y s o n t h e r i g h t , t h e o w n v e h i c l e " t o b e c o n t r o l l e d i s d e p i c t e d b y a n

a r r o w s u p e r i m p o s e d o n t h e m a p . A l t h o u g h i t i s n o t n e c e s s a r y t o d e t e r m i n e i n t h i s

c a s e p r e c i s e l y t o w h a t e x t e n t t h e e n t i r e m a p b e i n g d i s p l a y e d h a s b e e n c r e a t e d f r o m

m o d e l l e d o r u n m o d e l l e d d a t a , i t i s i m p o r t a n t t o n o t e t h a t b o t h t h e s c a l e o f t h e

m a p a n d i t s o r i e n t a t i o n a r e m o d e l l e d , i n t h a t t h e m a p i s p r e s e n t e d i n a c a n o n i c a l l y

c o n v e n t i o n a l n o r t h - u p f a s h i o n .

T u r n i n g t o t h e r o w s , t h e c o n t r o l d e v i c e f o r t h e t o p t w o q u a d r a n t s i s a s t a n d a r d

s t e e r i n g w h e e l , i n a d d i t i o n t o a n a c c e l e r a t o r a n d b r a k e p e d a l s . B e c a u s e t h e m e t a p h o r

w i t h a s t e e r i n g w h e e l i s t h a t o n e i s s i t u a t e d w i t h i n o n e s o w n v e h i c l e a n d s t e e r i n g

i t , t h e n o m i n a l c o n t r o l m a p p i n g w i t h t h e s t e e r i n g w h e e l i s c o n s i d e r e d e g o c e n t r i c , o r

e g o r e f e r e n c e d . N o t e t h a t t h i s i s d e n e d t o b e t h e c a s e a l s o f o r t h e m a p d i s p l a y

i n q u a d r a n t 2 , e v e n t h o u g h o n e i s l o o k i n g d o w n o n t h e v e h i c l e t h e s m a l l a r r o w

s h o w n p o i n t i n g s o u t h w e s t i n t h e g u r e . T h e c o n t r o l d e v i c e s h o w n i n t h e b o t t o m

r o w q u a d r a n t s 3 a n d 4 i s a s i m p l e c o m p u t e r m o u s e , w h i c h i s e x o c e n t r i c a l l y w o r l d -

r e f e r e n c e d , i n a s u p e r o r d i n a t e n o r t h - u p m a n n e r , a s i n d i c a t e d i n t h e g u r e . T h i s

m e a n s t h a t , b y m o v i n g t h e m o u s e t o t h e r i g h t , f o r e x a m p l e , t h e v e h i c l e b e i n g c o n -

t r o l l e d w o u l d b e f o r c e d i n a n e a s t w a r d d i r e c t i o n r e l a t i v e t o t h e r e a l w o r l d , r e g a r d l e s s

o f i t s c u r r e n t h e a d i n g .

6

I n s p i t e o f t h e r e a l v s v i r t u a l a n d t h e t w o e g o - e x o - c e n t r i c d i s t i n c t i o n s s h o w n i n

F i g u r e 1 . 1 1 , c l a s s i f y i n g t h e f o u r c a s e s s h o w n i n r e l a t i o n t o t h e v a r i o u s d i m e n s i o n s o f

t h e M R t a x o n o m y p r e s e n t e d t h u s f a r i s n o t s t r a i g h t f o r w a r d . A l t h o u g h i t i s e v i d e n t

t h a t n e i t h e r o f t h e c o n t r o l s a r e c o m p l e t e l y i s o m o r p h i c r e f e r i n g t o F i g u r e 1 . 1 0 , s i n c e

b o t h i n v o l v e t h e i n t e r v e n t i o n o f s o m e k i n d o f a d e v i c e b e t w e e n t h e o p e r a t o r a n d t h e

6

N o t e t h a t t h e e e c t o f u s i n g o t h e r c o n t r o l d e v i c e s , s u c h a s a x e d j o y s t i c k , e i t h e r i s o t o n i c o r

i s o m e t r i c , w o u l d b e v e r y s i m i l a r t o t h a t o f t h e m o u s e p r e s e n t e d h e r e .


17/26


Displays

Controls

Egocentric Exocentric

Ego-r

eference

d

Worl

d-r

eference

d

1 2

3 4

F i g u r e 1 . 1 1 2 x 2 s p a c e o f c o n t r o l - d i s p l a y m a p p i n g s f o r v e h i c l e s i m u l a t o r .

s y s t e m b e i n g c o n t r o l l e d , t h e o v e r a l l d e g r e e o f c o n g r u e n c e d e p e n d s n o t j u s t o n t h e

d e v i c e i t s e l f b u t o n t h e c o n t e x t i n w h i c h i t i s u s e d , e s p e c i a l l y i n r e l a t i o n t o t h e

a s s o c i a t e d d i s p l a y . F o r e x a m p l e , f r o m a c o n t r o l p o i n t o f v i e w , a l t h o u g h b o t h d e v i c e s

i n u e n c e d i r e c t i o n o f t r a v e l , t h e y c o u l d e a c h b e p r o g r a m m e d d i e r e n t l y , a s e i t h e r

z e r o - o r d e r o r r s t o r d e r i n p u t d e v i c e s .

C o n s i d e r i n g i n t u r n t h e o v e r a l l p r o s a n d c o n s o f t h e c a s e s s h o w n i n F i g u r e 1 . 1 1

2 3 2 4 2 6 , i n q u a d r a n t 1 w e h a v e a n e g o c e n t r i c d i s p l a y t o g e t h e r w i t h a h i g h l y

c o n g r u e n t c o n t r o l d e v i c e , i n t h e s e n s e t h a t a l e f t w a r d c o n t r o l i n p u t w i l l c a u s e t h e

s i m u l a t e d v e h i c l e t o t u r n t o t h e l e f t a s t h e v i s u a l d i s p l a y r o t a t e s t o t h e r i g h t . S u c h

a s e t u p i s v e r y e e c t i v e f o r l o c a l g u i d a n c e , s i n c e i t e n a b l e s t h e o p e r a t o r d r i v e r r e a d i l y

t o f o l l o w a n e s t a b l i s h e d t r a j e c t o r y t o g e t f r o m o n e p o i n t t o a n o t h e r . I n t e r m s o f

F i g u r e 1 . 9 , t h i s c a s e l i e s a t t h e e g o - r e f e r e n c e f r a m e s i d e o f t h e c o n t i n u u m . T h i s k i n d

o f d i s p l a y d o e s n o t , h o w e v e r , e n c o m p a s s y i n g u p " a b o v e o n e s v e h i c l e t o s u r v e y


18/26


t h e s c e n e g l o b a l l y ,

7

t h u s i n c r e a s i n g t h e p o t e n t i a l f o r k e y h o l i n g , a s m e n t i o n e d e a r l i e r .

I n q u a d r a n t 4 , t h e k e y h o l i n g p r o b l e m i s g r e a t l y r e d u c e d , b e c a u s e w e n o w h a v e

a n e x o c e n t r i c d i s p l a y , w h i c h a o r d s a g r e a t d e g r e e o f g l o b a l a w a r e n e s s a b o u t w h e r e

o n e i s s i t u a t e d r e l a t i v e t o t h e w o r l d . T h i s c a s e i s i n d i c a t e d a t t h e r i g h t h a n d s i d e

o f F i g u r e 1 . 9 , a t t h e w o r l d - r e f e r e n c e e n d o f t h e c o n t i n u u m . A l t h o u g h t h e d i s p l a y

s h o w n i n q u a d r a n t 4 a l l o w s o n e e c i e n t l y t o p l a n a r o u t e f r o m A t o B , t r a v e r s i n g

t h e r o u t e m a y n o t b e a s e c i e n t a s w i t h t h e o u t - t h e - w i n d o w v i e w a t g r o u n d l e v e l

p r o v i d e d i n q u a d r a n t 1 . W i t h r e s p e c t t o t h e c o n t r o l d e v i c e s h o w n i n q u a d r a n t 4 , a

r e l a t i v e l y h i g h d e g r e e o f c o n t r o l d i s p l a y c o n g r u e n c y i s a c h i e v e d , d u e t o t h e f a c t t h a t

a l l m o u s e m o v e m e n t s m a p d i r e c t l y o n t o t h e d i r e c t i o n o f m o t i o n o f t h e v e h i c l e . I n t h i s

c a s e , m o u s e i n p u t i s t h u s h i g h l y c o n s i s t e n t w i t h t h e d i r e c t m a n i p u l a t i o n m e t a p h o r

f o r w h i c h t h e m o u s e i s b e s t k n o w n 3 4 .

I n q u a d r a n t 2 w e h a v e a n e x o c e n t r i c w o r l d - r e f e r e n c e d d i s p l a y c o m b i n e d w i t h

a n e g o - r e f e r e n c e d c o n t r o l d e v i c e . I n o n e s e n s e c o n t r o l w i t h t h e s t e e r i n g w h e e l s h o u l d

n o t b e v e r y d i e r e n t f r o m i n p u t w i t h t h e m o u s e , s o t h i s c o m b i n a t i o n s h o u l d w o r k

s a t i s f a c t o r i l y , b u t o n l y a s l o n g a s t h e d i r e c t i o n o f t r a v e l i s g e n e r a l l y n o r t h w a r d . F o r

s o u t h w a r d d r i v i n g , o n t h e o t h e r h a n d , a s i n d i c a t e d b y t h e s o u t h - w e s t o r i e n t a t i o n

o f t h e v e h i c l e i c o n i n t h e g u r e , c o n f u s i o n w i l l b e m o r e l i k e l y t o o c c u r b e c a u s e

t h e o p e r a t o r w o u l d h a v e t o p e r f o r m a s i g n i c a n t m e n t a l r o t a t i o n t o g u r e o u t , f o r

e x a m p l e , t h a t a r i g h t w a r d t u r n o f t h e s t e e r i n g w h e e l w o u l d c a u s e t h e v e h i c l e i c o n t o

t u r n t o w a r d s t h e e x o c e n t r i c o p e r a t o r ' s l e f t .

I n q u a d r a n t 3 , n a l l y , w e h a v e a n e g o c e n t r i c d i s p l a y c o m b i n e d w i t h a n e x o c e n t r i c

c o n t r o l d e v i c e . A l t h o u g h c l e a r l y n o t o p t i m a l f o r l o c a l g u i d a n c e , i t m i g h t n e v e r t h e l e s s

b e p o s s i b l e t o d r i v e " t h e v e h i c l e u s i n g t h e c o n t r o l l e r s h o w n b u t o n l y a s l o n g a s

t h e v e h i c l e i s h e a d e d i n a g e n e r a l l y n o r t h w a r d d i r e c t i o n . T h e l a r g e r t h e d e v i a t i o n

f r o m a n o r t h e r l y h e a d i n g , h o w e v e r , t h e g r e a t e r t h e e x p e c t e d d e g r e e o f c o n f u s i o n . F o r

e x a m p l e , w h e n h e a d i n g e a s t w a r d s , c o n t r o l i n p u t w o u l d b e t o t h e r i g h t i n o r d e r t o

t r a v e l s t r a i g h t f o r w a r d . W h e n e v e r t h e v e h i c l e i s h e a d e d i n a s o u t h e r l y d i r e c t i o n , w e s t

w o u l d b e o n t h e r i g h t a n d e a s t o n t h e l e f t o f t h e d i s p l a y . I t w o u l d t h u s b e n e c e s s a r y t o

a p p l y a r i g h t w a r d f o r c e o n t h e m o u s e c o n t r o l l e r i n o r d e r t o m a k e t h e v e h i c l e t r a v e l

e a s t w a r d s , t o t h e l e f t , a n d v i c e v e r s a . T h e l i k e l i h o o d o f c o n t r o l r e v e r s a l s w o u l d

t h e r e f o r e i n c r e a s e g r e a t l y a s t h e h e a d i n g d e v i a t e s m o r e a n d m o r e f r o m a n o r t h e r l y

d i r e c t i o n .

1 . 2 . 4 S u m m a r y a n d I m p l i c a t i o n s o f C o n t r o l - D i s p l a y I s s u e s

I n t h e p r e c e d i n g d i s c u s s i o n a n u m b e r o f t r a d e o s a m o n g t h e f o u r c a s e s p r e s e n t e d a r e

o u t l i n e d . T h e s e i n v o l v e t r a d e o s b e t w e e n e g o c e n t r i c v e r s u s e x o c e n t r i c d i s p l a y s a n d

b e t w e e n e g o - r e f e r e n c e d v e r s u s w o r l d - r e f e r e n c e d c o n t r o l i n p u t s . A l t h o u g h t h e c a s e s

o f q u a d r a n t s 1 a n d 4 i n F i g u r e 1 . 1 1 a r e c l e a r l y m o r e n a t u r a l " t h a n q u a d r a n t s 2 a n d

3 , t h e l a t t e r h a v e b e e n i n c l u d e d h e r e n o t o n l y f o r t h e s a k e o f c o m p l e t e n e s s o f t h e

7

A l t h o u g h t h i s s t a t e m e n t m o s t o f t e n p e r t a i n s t o c a s e s w h e r e t h e i n f o r m a t i o n i n t h e d i s p l a y i s

c o m p r i s e d o f r e a l u n m o d e l l e d i m a g e d a t a , a s d e p i c t e d i n F i g u r e 1 . 1 1 , i t i s n e v e r t h e l e s s c o n c e i v a b l e

t h a t o n e c o u l d a l s o y a b o v e a s c e n e m a d e u p o f r e a l 3 D d a t a w h i c h h a d b e e n g a t h e r e d f r o m

a n u m b e r o f v i e w p o i n t s a n d i n t e g r a t e d i n t o a c o m p r e h e n s i v e 3 D d a t a b a s e i d e a l l y i n c o r p o r a t i n g

i m a g e i n t e r p o l a t i o n a s w e l l . I n s p i t e o f t h i s , s u c h a y - t h r o u g h c a p a b i l i t y w o u l d c e r t a i n l y b e m o r e

t r a c t a b l e w i t h a v i r t u a l m o d e l r a t h e r t h a n u s i n g r e a l d a t a .


19/26

1 . 3 G l o b a l T a x o n o m y o f M i x e d R e a l i t y D i s p l a y I n t e g r a t i o n 1 9

d i s c u s s i o n , b u t a l s o b e c a u s e t h e y r e p r e s e n t r e a l i s t i c c a s e s w h i c h c a n a c t u a l l y o c c u r

w i t h M i x e d R e a l i t y t e l e o p e r a t i o n s y s t e m s s u c h a s I I R O . T h a t i s , a s d i s c u s s e d i n

S e c t i o n 1 . 1 , a n d a s i l l u s t r a t e d i n t h e d i s c u s s i o n o f F i g u r e 1 . 8 , M i x e d R e a l i t y d i s p l a y

s y s t e m s p r o v i d e u s e r s w i t h t h e o p p o r t u n i t y t o m o v e b a c k a n d f o r t h b e t w e e n r e a l

w o r l d a n d v i r t u a l w o r l d s c e n e s . I n g e n e r a l , a s d i s c u s s e d i n S e c t i o n s 1 . 2 . 1 a n d 1 . 2 . 2 ,

r e a l - w o r l d i m a g e s t y p i c a l l y p r o v i d e i n c r e a s e d d e t a i l , d u e t o h i g h e r r e s o l u t i o n r e l a -

t i v e t o m o d e l l e d o b j e c t s , b u t t h e y a r e a l s o o f t e n p r o v i d e d o n l y f r o m a n e g o c e n t r i c ,

o u t - t h e - w i n d o w v i e w p o i n t . T h i s i s e s p e c i a l l y t r u e f o r s y s t e m s w h i c h m o v e t h r o u g h

t h e i r e n v i r o n m e n t , a n d t h u s f o r w h i c h a n e x t e r n a l c a m e r a i s n o t u s u a l l y f e a s i b l e .

A s i n d i c a t e d i n F i g u r e 1 . 9 , s u c h v i e w s a r e m o s t e e c t i v e f o r l o c a l g u i d a n c e , t h a t i s ,

t h e t a s k o f m a i n t a i n i n g a n a c c u r a t e t r a j e c t o r y f r o m A t o B . C o n v e r s e l y , e x o c e n t r i c

d i s p l a y s a r e m o r e c o n d u c i v e t o g l o b a l s i t u a t i o n a l a w a r e n e s s , w h i c h c o m p r i s e s s u c h

t a s k s a s l a n d m a r k r e c o g n i t i o n , p a t h p l a n n i n g , a n d o b s t a c l e a v o i d a n c e , s i n c e t h e y

a l l o w o n e t o v i e w t h e w o r l d f r o m a n u m b e r o f e x o c e n t r i c v i e w p o i n t s , e i t h e r t e t h e r e d

o r w o r l d - r e f e r e n c e d . T o g e t h e r w i t h t h e e x i b i l i t y w h i c h a c c o m p a n i e s t h e c a p a b i l i t y

p r o v i d e d b y M R t o t r a n s i t b a c k a n d f o r t h b e t w e e n r e a l a n d v i r t u a l w o r l d s , h o w e v e r ,

c o m e s t h e i s s u e o f p r e s e r v i n g c o n t r o l - d i s p l a y c o m p a t i b i l i t y , a s t h e a d v a n t a g e s o f

o n e c o n t r o l s c h e m e w i t h o n e v i e w p o i n t m e t a p h o r b e c o m e d i s a d v a n t a g e o u s w i t h a n -

o t h e r v i e w p o i n t . B e c a u s e t h e c o n s e q u e n c e s o f s u c h i n c o n g r u e n c i e s i n c l u d e i n c r e a s e d

m e n t a l w o r k l o a d d u e t o t h e n e e d t o p e r f o r m m o r e m e n t a l t r a n s f o r m a t i o n s a n d

i n c r e a s e d p r o b a b i l i t y o f c o n t r o l r e v e r s a l s , a s w e l l a s o t h e r e r r o r s , t h e i s s u e s o u t l i n e d

i n t h i s s e c t i o n a r e e x p e c t e d t o b e c o m e i n c r e a s i n g l y r e l e v a n t i n f u t u r e M R s y s t e m

r e s e a r c h .

8

1 . 3 G l o b a l T a x o n o m y o f M i x e d R e a l i t y D i s p l a y I n -

t e g r a t i o n

I n t h i s n a l s e c t i o n w e r e t u r n t o o u r o r i g i n a l d i s c u s s i o n o f t h e m e a n i n g o f M i x e d

R e a l i t y i n S e c t i o n 1 . 1 a n d d i s c u s s h o w t h e v a r i o u s i s s u e s o f c e n t r i c i t y a n d c o n t r o l

p r e s e n t e d i n S e c t i o n 1 . 2 p e r t a i n t o a s e l e c t i o n o f d i e r e n t t y p e s o f M R s y s t e m s .

I n o t h e r w o r d s , f o r e a c h c l a s s o f M R s y s t e m , o u r o b j e c t i v e i s t o p l a c e t h e v a r i o u s

f a c t o r s p r e s e n t e d i n t h i s p a p e r i n t o a s i n g l e u n i e d f r a m e w o r k , d e n e d w i t h i n a

s p a c e d e t e r m i n e d b y i t s l o c a t i o n a l o n g t h e R V c o n t i n u u m , t h e c e n t r i c i t y c o n t i n u u m

a n d t h e c o n t r o l - d i s p l a y c o n g r u e n c y c o n t i

Documents

A Taxonomy of Real and Virtual World Display Integration Milgram