HTM_CLA_CS_Generative Models for Discovering Sparse Distributed Representations (CV NN SDR).pdf

8/10/2019 HTM_CLA_CS_Generative Models for Discovering Sparse Distributed Representations (CV NN SDR).pdf

1/25

G e n e r a t i v e M o d e l s f o r D i s c o v e r i n g S p a r s e D i s t r i b u t e d

R e p r e s e n t a t i o n s

G e o r e y E . H i n t o n a n d Z o u b i n G h a h r a m a n i

D e p a r t m e n t o f C o m p u t e r S c i e n c e

U n i v e r s i t y o f T o r o n t o

T o r o n t o , O n t a r i o , M 5 S 1 A 4 , C a n a d a

h i n t o n @ c s . t o r o n t o . e d u , z o u b i n @ c s . t o r o n t o . e d u

M a y 9 , 1 9 9 7

A m o d i e d v e r s i o n t o a p p e a r i n P h i l o s o p h i c a l T r a n s a c t i o n s o f t h e R o y a l S o c i e t y B , 1 9 9 7 .

A b s t r a c t

W e d e s c r i b e a h i e r a r c h i c a l , g e n e r a t i v e m o d e l t h a t c a n b e v i e w e d a s a n o n - l i n e a r g e n e r -

a l i z a t i o n o f f a c t o r a n a l y s i s a n d c a n b e i m p l e m e n t e d i n a n e u r a l n e t w o r k . T h e m o d e l u s e s

b o t t o m - u p , t o p - d o w n a n d l a t e r a l c o n n e c t i o n s t o p e r f o r m B a y e s i a n p e r c e p t u a l i n f e r e n c e c o r -

r e c t l y . O n c e p e r c e p t u a l i n f e r e n c e h a s b e e n p e r f o r m e d t h e c o n n e c t i o n s t r e n g t h s c a n b e u p d a t e d

u s i n g a v e r y s i m p l e l e a r n i n g r u l e t h a t o n l y r e q u i r e s l o c a l l y a v a i l a b l e i n f o r m a t i o n . W e d e m o n -

s t r a t e t h a t t h e n e t w o r k l e a r n s t o e x t r a c t s p a r s e , d i s t r i b u t e d , h i e r a r c h i c a l r e p r e s e n t a t i o n s .

1 I n t r o d u c t i o n

M a n y n e u r a l n e t w o r k m o d e l s o f v i s u a l p e r c e p t i o n a s s u m e t h a t t h e s e n s o r y i n p u t a r r i v e s a t t h e

b o t t o m , v i s i b l e l a y e r o f t h e n e t w o r k a n d i s t h e n c o n v e r t e d b y f e e d f o r w a r d c o n n e c t i o n s i n t o s u c -

c e s s i v e l y m o r e a b s t r a c t r e p r e s e n t a t i o n s i n s u c c e s s i v e h i d d e n l a y e r s . S u c h m o d e l s a r e b i o l o g i c a l l y

u n r e a l i s t i c b e c a u s e t h e y d o n o t a l l o w f o r t o p - d o w n e e c t s w h e n p e r c e i v i n g n o i s y o r a m b i g u o u s d a t a

( M u m f o r d , 1 9 9 4 ; G r e g o r y , 1 9 7 0 ) a n d t h e y d o n o t e x p l a i n t h e p r e v a l e n c e o f t o p - d o w n c o n n e c t i o n s

i n c o r t e x .

I n t h i s p a p e r , w e t a k e s e r i o u s l y t h e i d e a t h a t v i s i o n i s i n v e r s e g r a p h i c s ( H o r n , 1 9 7 7 ) a n d s o

w e s t a r t w i t h a s t o c h a s t i c , g e n e r a t i v e n e u r a l n e t w o r k t h a t u s e s t o p - d o w n c o n n e c t i o n s t o c o n v e r t

a n a b s t r a c t r e p r e s e n t a t i o n o f a s c e n e i n t o a n i n t e n s i t y i m a g e . T h i s n e u r a l l y i n s t a n t i a t e d g r a p h i c s

m o d e l i s l e a r n e d a n d t h e t o p - d o w n c o n n e c t i o n s t r e n g t h s c o n t a i n t h e n e t w o r k ' s v i s u a l k n o w l e d g e

o f t h e w o r l d . V i s u a l p e r c e p t i o n c o n s i s t s o f i n f e r r i n g t h e u n d e r l y i n g s t a t e o f t h e s t o c h a s t i c g r a p h i c s

m o d e l u s i n g t h e f a l s e b u t u s e f u l a s s u m p t i o n t h a t t h e o b s e r v e d s e n s o r y i n p u t w a s g e n e r a t e d b y t h e

m o d e l . S i n c e t h e t o p - d o w n g r a p h i c s m o d e l i s s t o c h a s t i c t h e r e a r e u s u a l l y m a n y d i e r e n t s t a t e s o f

t h e h i d d e n u n i t s t h a t c o u l d h a v e g e n e r a t e d t h e s a m e i m a g e , t h o u g h s o m e o f t h e s e h i d d e n s t a t e

c o n g u r a t i o n s a r e t y p i c a l l y m u c h m o r e p r o b a b l e t h a n o t h e r s . F o r t h e s i m p l e s t g e n e r a t i v e m o d e l s ,

1


2/25

i t i s t r a c t a b l e t o r e p r e s e n t t h e e n t i r e p o s t e r i o r p r o b a b i l i t y d i s t r i b u t i o n o v e r h i d d e n c o n g u r a t i o n s

t h a t r e s u l t s f r o m o b s e r v i n g a n i m a g e . F o r m o r e c o m p l e x m o d e l s , w e s h a l l h a v e t o b e c o n t e n t w i t h

a p e r c e p t u a l i n f e r e n c e p r o c e s s t h a t p i c k s o n e o r a f e w c o n g u r a t i o n s r o u g h l y a c c o r d i n g t o t h e i r

p o s t e r i o r p r o b a b i l i t i e s ( H i n t o n a n d S e j n o w s k i , 1 9 8 3 ) .

O n e a d v a n t a g e o f s t a r t i n g w i t h a g e n e r a t i v e m o d e l i s t h a t i t p r o v i d e s a n a t u r a l s p e c i c a t i o n o f

w h a t v i s u a l p e r c e p t i o n o u g h t t o d o . F o r e x a m p l e , i t s p e c i e s e x a c t l y h o w t o p - d o w n e x p e c t a t i o n s

s h o u l d b e u s e d t o d i s a m b i g u a t e n o i s y d a t a w i t h o u t u n d u l y d i s t o r t i n g r e a l i t y . A n o t h e r a d v a n t a g e i s

t h a t i t p r o v i d e s a s e n s i b l e o b j e c t i v e f u n c t i o n f o r u n s u p e r v i s e d l e a r n i n g . L e a r n i n g c a n b e v i e w e d a s

m a x i m i z i n g t h e l i k e l i h o o d o f t h e o b s e r v e d d a t a u n d e r t h e g e n e r a t i v e m o d e l . T h i s i s m a t h e m a t i c a l l y

e q u i v a l e n t t o d i s c o v e r i n g e c i e n t w a y s o f c o d i n g t h e s e n s o r y d a t a , b e c a u s e t h e d a t a c o u l d b e

c o m m u n i c a t e d t o a r e c e i v e r b y s e n d i n g t h e u n d e r l y i n g s t a t e s o f t h e g e n e r a t i v e m o d e l a n d t h i s i s

a n e c i e n t c o d e i f a n d o n l y i f t h e g e n e r a t i v e m o d e l a s s i g n s h i g h p r o b a b i l i t y t o t h e s e n s o r y d a t a .

I n t h i s p a p e r w e p r e s e n t a s e q u e n c e o f p r o g r e s s i v e l y m o r e s o p h i s t i c a t e d g e n e r a t i v e m o d e l s .

F o r e a c h m o d e l , t h e p r o c e d u r e s f o r p e r f o r m i n g p e r c e p t u a l i n f e r e n c e a n d f o r l e a r n i n g t h e t o p -

d o w n w e i g h t s f o l l o w n a t u r a l l y f r o m t h e g e n e r a t i v e m o d e l i t s e l f . W e s t a r t w i t h t w o v e r y s i m p l e

m o d e l s , f a c t o r a n a l y s i s a n d m i x t u r e s o f G a u s s i a n s , t h a t w e r e r s t d e v e l o p e d b y s t a t i s t i c i a n s .

M a n y o f t h e e x i s t i n g m o d e l s o f h o w c o r t e x l e a r n s a r e a c t u a l l y e v e n s i m p l e r v e r s i o n s o f t h e s e

s t a t i s t i c a l a p p r o a c h e s i n w h i c h c e r t a i n v a r i a n c e s h a v e b e e n s e t t o z e r o . W e e x p l a i n f a c t o r a n a l y s i s

a n d m i x t u r e s o f G a u s s i a n s i n s o m e d e t a i l . T o c l a r i f y t h e r e l a t i o n s h i p s b e t w e e n t h e s e s t a t i s t i c a l

m e t h o d s a n d n e u r a l n e t w o r k m o d e l s , w e d e s c r i b e t h e s t a t i s t i c a l m e t h o d s a s n e u r a l n e t w o r k s t h a t

c a n b o t h g e n e r a t e d a t a u s i n g t o p - d o w n c o n n e c t i o n s a n d p e r f o r m p e r c e p t u a l i n t e r p r e t a t i o n o f

o b s e r v e d d a t a u s i n g b o t t o m - u p c o n n e c t i o n s . W e t h e n d e s c r i b e a h i s t o r i c a l s e q u e n c e o f m o r e

s o p h i s t i c a t e d h i e r a r c h i c a l , n o n - l i n e a r g e n e r a t i v e m o d e l s a n d t h e l e a r n i n g a l g o r i t h m s t h a t g o w i t h

t h e m . W e c o n c l u d e w i t h a n e w m o d e l , t h e r e c t i e d G a u s s i a n b e l i e f n e t , a n d p r e s e n t e x a m p l e s

w h e r e i t i s v e r y e e c t i v e a t d i s c o v e r i n g h i e r a r c h i c a l s p a r s e d i s t r i b u t e d r e p r e s e n t a t i o n s o f t h e t y p e

a d v o c a t e d b y B a r l o w ( 1 9 8 9 ) a n d O l s h a u s e n a n d F i e l d ( 1 9 9 6 ) . T h e n e w m o d e l m a k e s s t r o n g

s u g g e s t i o n s a b o u t t h e r o l e o f b o t h t o p - d o w n a n d l a t e r a l c o n n e c t i o n s i n c o r t e x a n d i t a l s o s u g g e s t s

w h y t o p o g r a p h i c m a p s a r e s o p r e v a l e n t .

2 M i x t u r e s o f G a u s s i a n s

A m i x t u r e o f G a u s s i a n s i s a m o d e l t h a t d e s c r i b e s s o m e r e a l d a t a p o i n t s i n t e r m s o f u n d e r l y i n g

G a u s s i a n c l u s t e r s . T h e r e a r e t h r e e a s p e c t s o f t h i s m o d e l w h i c h w e s h a l l d i s c u s s . F i r s t , g i v e n

p a r a m e t e r s t h a t s p e c i f y t h e m e a n s , v a r i a n c e s a n d m i x i n g p r o p o r t i o n s o f t h e c l u s t e r s , t h e m o d e l

d e n e s a g e n e r a t i v e d i s t r i b u t i o n w h i c h a s s i g n s a p r o b a b i l i t y t o a n y p o s s i b l e d a t a p o i n t . S e c o n d ,

g i v e n t h e p a r a m e t e r v a l u e s a n d a d a t a p o i n t , t h e p e r c e p t u a l i n t e r p r e t a t i o n p r o c e s s i n f e r s t h e

p o s t e r i o r p r o b a b i l i t y t h a t t h e d a t a c a m e f r o m e a c h o f t h e c l u s t e r s . T h i r d , g i v e n a s e t o f o b s e r v e d

d a t a p o i n t s , t h e l e a r n i n g p r o c e s s a d j u s t s t h e p a r a m e t e r v a l u e s t o m a x i m i z e t h e p r o b a b i l i t y t h a t

t h e g e n e r a t i v e m o d e l w o u l d p r o d u c e t h e o b s e r v e d d a t a .

V i e w e d a s a n e u r a l n e t w o r k , a m i x t u r e o f G a u s s i a n s c o n s i s t s o f a l a y e r o f v i s i b l e u n i t s w h o s e

s t a t e v e c t o r r e p r e s e n t s a d a t a p o i n t a n d a l a y e r o f h i d d e n u n i t s e a c h o f w h i c h r e p r e s e n t s a c l u s t e r

( s e e g u r e 1 ) . T o g e n e r a t e a d a t a p o i n t w e r s t p i c k o n e o f t h e h i d d e n u n i t s , j , w i t h a p r o b a b i l i t y

j

a n d g i v e i t a s t a t e s

j

= 1 . A l l o t h e r h i d d e n s t a t e s a r e s e t t o 0 . T h e g e n e r a t i v e w e i g h t v e c t o r o f

t h e h i d d e n u n i t , g

j

, r e p r e s e n t s t h e m e a n o f a G a u s s i a n c l u s t e r . W h e n u n i t j i s a c t i v a t e d i t s e n d s

2


3/25

a t o p - d o w n i n p u t o f g

j i

t o e a c h v i s i b l e u n i t , i . L o c a l , z e r o - m e a n , G a u s s i a n n o i s e w i t h v a r i a n c e

2

i

i s a d d e d t o t h e t o p - d o w n i n p u t t o p r o d u c e a s a m p l e f r o m a n a x i s - a l i g n e d G a u s s i a n t h a t h a s

m e a n g

j

a n d a c o v a r i a n c e m a t r i x t h a t h a s t h e

2

i

t e r m s a l o n g t h e d i a g o n a l a n d z e r o e l s e w h e r e .

T h e p r o b a b i l i t y o f g e n e r a t i n g a p a r t i c u l a r v e c t o r o f v i s i b l e s t a t e s , d w i t h e l e m e n t s d

i

, i s t h e r e f o r e :

p ( d ) =

X

j

j

Y

i

1

p

2

i

e

( d

i

g

j i

)

2

= 2

2

i

( 1 )

j

i

gji

hidden units

visible units

F i g u r e 1 : A g e n e r a t i v e n e u r a l n e t w o r k f o r m i x t u r e s o f G a u s s i a n s .

I n t e r p r e t i n g a d a t a p o i n t , d , c o n s i s t s o f c o m p u t i n g t h e p o s t e r i o r p r o b a b i l i t y t h a t i t w a s g e n -

e r a t e d f r o m e a c h o f t h e h i d d e n u n i t s , a s s u m i n g t h a t i t m u s t h a v e c o m e f r o m o n e o f t h e m . E a c h

h i d d e n u n i t , j , r s t c o m p u t e s t h e p r o b a b i l i t y d e n s i t y o f t h e d a t a p o i n t u n d e r i t s G a u s s i a n m o d e l :

p ( d s

j

= 1 ) =

Y

i

1

p

2

i

e

( d

i

g

j i

)

2

= 2

2

i

( 2 )

T h e s e c o n d i t i o n a l p r o b a b i l i t i e s a r e t h e n w e i g h t e d b y t h e m i x i n g p r o p o r t i o n s ,

j

, a n d n o r m a l -

i z e d t o g i v e t h e p o s t e r i o r p r o b a b i l i t y o r r e s p o n s i b i l i t y o f e a c h h i d d e n u n i t , j , f o r t h e d a t a p o i n t .

B y B a y e s t h e o r e m :

p ( s

j

= 1 d ) =

j

p ( d s

j

= 1 )

P

k

k

p ( d s

k

= 1 )

( 3 )

T h e c o m p u t a t i o n o f p ( d s

j

= 1 ) i n E q . 2 c a n b e d o n e v e r y s i m p l y b y u s i n g r e c o g n i t i o n

c o n n e c t i o n s , r

i j

, f r o m t h e v i s i b l e t o t h e h i d d e n u n i t s . T h e r e c o g n i t i o n c o n n e c t i o n s a r e s e t e q u a l

t o t h e g e n e r a t i v e c o n n e c t i o n s , r

i j

= g

j i

. T h e n o r m a l i z a t i o n i n E q . 3 c o u l d b e d o n e b y u s i n g

d i r e c t l a t e r a l c o n n e c t i o n s o r i n t e r n e u r o n s t o e n s u r e t h a t t h e t o t a l a c t i v i t y i n t h e h i d d e n l a y e r i s a

c o n s t a n t .

L e a r n i n g c o n s i s t s o f a d j u s t i n g t h e g e n e r a t i v e p a r a m e t e r s g s o a s t o m a x i m i z e t h e p r o d u c t

o f t h e p r o b a b i l i t i e s a s s i g n e d t o a l l t h e o b s e r v e d d a t a p o i n t s b y E q . 1 . A n e c i e n t w a y t o p e r f o r m

t h e l e a r n i n g i s t o s w e e p t h r o u g h a l l t h e o b s e r v e d d a t a p o i n t s c o m p u t i n g p ( s

j

= 1 d ) f o r e a c h

h i d d e n u n i t a n d t h e n t o r e s e t a l l t h e g e n e r a t i v e p a r a m e t e r s i n p a r a l l e l . A n g l e b r a c k e t s a r e u s e d

t o d e n o t e a v e r a g e s o v e r t h e t r a i n i n g d a t a .

g

j

( n e w ) = h p ( s

j

= 1 d ) d i = h p ( s

j

= 1 d ) i ( 4 )

2

i

( n e w ) =

*

X

j

p ( s

j

= 1 d ) ( d

i

g

j i

)

2

+

( 5 )

j

( n e w ) = h p ( s

j

= 1 d ) i ( 6 )

3


4/25

T h i s i s a v e r s i o n o f t h e \ E x p e c t a t i o n a n d M a x i m i z a t i o n " a l g o r i t h m ( D e m p s t e r e t a l . , 1 9 7 7 ) a n d

i s g u a r a n t e e d t o r a i s e t h e l i k e l i h o o d o f t h e o b s e r v e d d a t a u n l e s s i t i s a l r e a d y a t a l o c a l o p t i m u m .

T h e c o m p u t a t i o n o f t h e p o s t e r i o r p r o b a b i l i t i e s o f t h e h i d d e n s t a t e s g i v e n t h e d a t a ( i . e . p e r c e p t u a l

i n f e r e n c e ) i s c a l l e d t h e E - s t e p a n d t h e u p d a t i n g o f t h e p a r a m e t e r s i s c a l l e d t h e M - s t e p .

I n s t e a d o f p e r f o r m i n g a n M - s t e p a f t e r a f u l l s w e e p t h r o u g h t h e d a t a i t i s p o s s i b l e t o u s e a n

o n l i n e g r a d i e n t a l g o r i t h m t h a t u s e s t h e s a m e p o s t e r i o r p r o b a b i l i t i e s o f h i d d e n s t a t e s b u t u p d a t e s

e a c h g e n e r a t i v e w e i g h t u s i n g a v e r s i o n o f t h e d e l t a r u l e w i t h a l e a r n i n g r a t e o f

g

j i

= p ( s

j

= 1 d ) ( d

i

g

j i

) ( 7 )

T h e k - m e a n s a l g o r i t h m ( a f o r m o f v e c t o r q u a n t i z a t i o n ) i s t h e l i m i t i n g c a s e o f a m i x t u r e o f

G a u s s i a n s m o d e l w h e r e t h e v a r i a n c e s a r e a s s u m e d e q u a l a n d i n n i t e s i m a l a n d t h e

j

a r e a s s u m e d

e q u a l . U n d e r t h e s e a s s u m p t i o n s t h e p o s t e r i o r p r o b a b i l i t i e s i n E q . 3 g o t o b i n a r y v a l u e s w i t h

p ( s

j

= 1 d ) = 1 f o r t h e G a u s s i a n w h o s e m e a n i s c l o s e s t t o d a n d 0 o t h e r w i s e . C o m p e t i t i v e

l e a r n i n g a l g o r i t h m s ( e . g . R u m e l h a r t a n d Z i p s e r , 1 9 8 5 ) c a n g e n e r a l l y b e v i e w e d a s w a y s o f t t i n g

m i x t u r e o f G a u s s i a n s g e n e r a t i v e m o d e l s . T h e y a r e u s u a l l y i n e c i e n t b e c a u s e t h e y d o n o t u s e a

f u l l M - s t e p a n d s l i g h t l y w r o n g b e c a u s e t h e y p i c k a s i n g l e w i n n e r a m o n g t h e h i d d e n u n i t s i n s t e a d

o f m a k i n g t h e s t a t e s p r o p o r t i o n a l t o t h e p o s t e r i o r p r o b a b i l i t i e s .

K o h o n e n ' s s e l f - o r g a n i z i n g m a p s ( K o h o n e n , 1 9 8 2 ) , D u r b i n a n d W i l l s h a w ' s e l a s t i c n e t ( 1 9 8 7 ) ,

a n d t h e g e n e r a t i v e t o p o g r a p h i c m a p ( B i s h o p e t a l . , I n P r e s s ) a r e v a r i a t i o n s o f v e c t o r q u a n t i z a t i o n

o r m i x t u r e o f G a u s s i a n m o d e l s i n w h i c h a d d i t i o n a l c o n s t r a i n t s a r e i m p o s e d t h a t f o r c e n e i g h b o r i n g

h i d d e n u n i t s t o h a v e s i m i l a r g e n e r a t i v e w e i g h t v e c t o r s . T h e s e c o n s t r a i n t s t y p i c a l l y l e a d t o a m o d e l

o f t h e d a t a t h a t i s w o r s e w h e n m e a s u r e d b y E q . 1 . S o i n t h e s e m o d e l s , t o p o g r a p h i c m a p s a r e n o t

a n a t u r a l c o n s e q u e n c e o f t r y i n g t o m a x i m i z e t h e l i k e l i h o o d o f t h e d a t a . T h e y a r e i m p o s e d o n

t h e m i x t u r e m o d e l t o m a k e t h e s o l u t i o n e a s i e r t o i n t e r p r e t a n d m o r e b r a i n - l i k e . B y c o n t r a s t , t h e

a l g o r i t h m w e p r e s e n t l a t e r h a s t o p r o d u c e t o p o g r a p h i c m a p s t o m a x i m i z e t h e d a t a l i k e l i h o o d i n a

s p a r s e l y c o n n e c t e d n e t .

B e c a u s e t h e r e c o g n i t i o n w e i g h t s a r e j u s t t h e t r a n s p o s e o f t h e g e n e r a t i v e w e i g h t s a n d b e c a u s e

m a n y r e s e a r c h e r s d o n o t t h i n k i n t e r m s o f g e n e r a t i v e m o d e l s , n e u r a l n e t w o r k m o d e l s t h a t p e r f o r m

c o m p e t i t i v e l e a r n i n g t y p i c a l l y o n l y h a v e t h e r e c o g n i t i o n w e i g h t s r e q u i r e d f o r p e r c e p t u a l i n f e r e n c e .

T h e w e i g h t s a r e l e a r n e d b y a p p l y i n g t h e r u l e t h a t i s a p p r o p r i a t e f o r t h e g e n e r a t i v e w e i g h t s . T h i s

m a k e s t h e m o d e l m u c h s i m p l e r t o i m p l e m e n t b u t h a r d e r t o u n d e r s t a n d .

N e u r a l n e t m o d e l s o f u n s u p e r v i s e d l e a r n i n g t h a t a r e d e r i v e d f r o m m i x t u r e s h a v e s i m p l e l e a r n -

i n g r u l e s a n d p r o d u c e r e p r e s e n t a t i o n s t h a t a r e a h i g h l y n o n - l i n e a r f u n c t i o n o f t h e d a t a , b u t t h e y

s u e r f r o m a d i s a s t r o u s w e a k n e s s i n t h e i r r e p r e s e n t a t i o n a l a b i l i t i e s . E a c h d a t a p o i n t i s r e p r e s e n t e d

b y t h e i d e n t i t y o f t h e w i n n i n g h i d d e n u n i t ( i . e . t h e c l u s t e r i t b e l o n g s t o ) . S o f o r t h e r e p r e s e n t a t i o n

t o c o n t a i n , o n a v e r a g e , n b i t s o f i n f o r m a t i o n a b o u t t h e d a t a , t h e r e m u s t b e a t l e a s t 2

n

h i d d e n

u n i t s .

1

1

T h i s p o i n t i s o f t e n o b s c u r e d b y t h e f a c t t h a t t h e p o s t e r i o r d i s t r i b u t i o n i s a v e c t o r o f r e a l - v a l u e d s t a t e s a c r o s s

t h e h i d d e n u n i t s . T h i s v e c t o r c o n t a i n s a l o t o f i n f o r m a t i o n a b o u t t h e d a t a a n d s u p e r v i s e d R a d i a l B a s i s F u n c t i o n

n e t w o r k s m a k e u s e o f t h i s r i c h i n f o r m a t i o n . H o w e v e r , f r o m t h e g e n e r a t i v e o r c o d i n g v i e w p o i n t , t h e p o s t e r i o r

d i s t r i b u t i o n m u s t b e v i e w e d a s a p r o b a b i l i t y d i s t r i b u t i o n a c r o s s d i s c r e t e i m p o v e r i s h e d r e p r e s e n t a t i o n s , n o t a r e a l -

v a l u e d r e p r e s e n t a t i o n .

4


5/25

3 F a c t o r A n a l y s i s

I n f a c t o r a n a l y s i s , c o r r e l a t i o n s a m o n g o b s e r v e d v a r i a b l e s a r e e x p l a i n e d i n t e r m s o f s h a r e d h i d d e n

v a r i a b l e s c a l l e d f a c t o r s w h i c h h a v e r e a l - v a l u e d s t a t e s . V i e w e d a s a n e u r a l n e t w o r k , t h e g e n e r a t i v e

m o d e l u n d e r l y i n g a s t a n d a r d v e r s i o n o f f a c t o r a n a l y s i s a s s u m e s t h a t t h e s t a t e , y

j

o f e a c h h i d d e n

u n i t , j , i s c h o s e n i n d e p e n d e n t l y f r o m a z e r o - m e a n u n i t - v a r i a n c e G a u s s i a n a n d t h e s t a t e , d

i

, o f e a c h

v i s i b l e u n i t , i , i s t h e n c h o s e n f r o m a G a u s s i a n w i t h v a r i a n c e

2

i

a n d m e a n

P

j

y

j

g

j i

. S o t h e o n l y

d i e r e n c e f r o m t h e m i x t u r e o f G a u s s i a n s m o d e l i s t h a t t h e h i d d e n s t a t e v e c t o r s a r e c o n t i n u o u s

a n d G a u s s i a n d i s t r i b u t e d r a t h e r t h a n d i s c r e t e v e c t o r s t h a t c o n t a i n a s i n g l e 1 .

T h e p r o b a b i l i t y o f g e n e r a t i n g a p a r t i c u l a r v e c t o r o f v i s i b l e s t a t e s , d , i s o b t a i n e d b y i n t e g r a t i n g

o v e r a l l p o s s i b l e s t a t e s , y , o f t h e h i d d e n u n i t s , w e i g h t i n g e a c h h i d d e n s t a t e v e c t o r b y i t s p r o b a b i l i t y

u n d e r t h e g e n e r a t i v e m o d e l .

p ( d ) =

Z

p ( y ) p ( d y ) d y ( 8 )

=

Z

Y

j

1

p

2

e

y

2

j

= 2

Y

i

1

p

2

i

e

( d

i

P

j

y

j

g

j i

)

2

= 2

2

i

d y ( 9 )

B e c a u s e t h e n e t w o r k i s l i n e a r a n d t h e n o i s e i s G a u s s i a n , t h i s i n t e g r a l i s t r a c t a b l e .

M a x i m u m l i k e l i h o o d f a c t o r a n a l y s i s ( E v e r i t t , 1 9 8 4 ) c o n s i s t s o f n d i n g g e n e r a t i v e w e i g h t s a n d

l o c a l n o i s e l e v e l s f o r t h e v i s i b l e u n i t s s o a s t o m a x i m i z e t h e l i k e l i h o o d o f g e n e r a t i n g t h e o b s e r v e d

d a t a . W i t h o u t l o s s o f g e n e r a l i t y , t h e g e n e r a t i v e n o i s e m o d e l f o r t h e h i d d e n u n i t s c a n b e s e t t o b e

a z e r o m e a n G a u s s i a n w i t h a c o v a r i a n c e e q u a l t o t h e i d e n t i t y m a t r i x .

3 . 1 C o m p u t i n g p o s t e r i o r d i s t r i b u t i o n s

G i v e n s o m e g e n e r a t i v e p a r a m e t e r s a n d a n o b s e r v e d d a t a p o i n t , t h e p e r c e p t u a l i n f e r e n c e p r o b l e m

i s t o c o m p u t e t h e p o s t e r i o r d i s t r i b u t i o n i n t h e c o n t i n u o u s h i d d e n s p a c e . T h i s i s n o t a s s i m p l e a s

c o m p u t i n g t h e d i s c r e t e p o s t e r i o r d i s t r i b u t i o n f o r a m i x t u r e o f G a u s s i a n s m o d e l . F o r t u n a t e l y , t h e

p o s t e r i o r d i s t r i b u t i o n i n t h e c o n t i n u o u s f a c t o r s p a c e i s a G a u s s i a n w h o s e m e a n d e p e n d s l i n e a r l y

o n t h e d a t a p o i n t a n d c a n b e c o m p u t e d u s i n g r e c o g n i t i o n c o n n e c t i o n s .

T h e r e a r e s e v e r a l r e a s o n s w h y t h e c o r r e c t r e c o g n i t i o n w e i g h t s a r e n o t , i n g e n e r a l , e q u a l t o

t h e g e n e r a t i v e w e i g h t s . V i s i b l e u n i t s w i t h l o w e r l o c a l n o i s e v a r i a n c e s w i l l h a v e l a r g e r r e c o g n i t i o n

w e i g h t s , a l l e l s e b e i n g e q u a l . B u t e v e n i f a l l t h e v i s i b l e n o i s e v a r i a n c e s a r e e q u a l , t h e r e c o g n i t i o n

w e i g h t s n e e d n o t b e p r o p o r t i o n a l t o t h e g e n e r a t i v e w e i g h t s b e c a u s e t h e g e n e r a t i v e w e i g h t v e c t o r s o f

t h e h i d d e n u n i t s ( k n o w n a s t h e f a c t o r l o a d i n g s ) d o n o t n e e d t o b e o r t h o g o n a l .

2

G e n e r a t i v e w e i g h t

v e c t o r s t h a t a r e n o t o r t h o g o n a l g i v e r i s e t o a v e r y i m p o r t a n t p h e n o m e n o n k n o w n a s \ e x p l a i n i n g

a w a y " t h a t o c c u r s d u r i n g p e r c e p t u a l i n f e r e n c e ( P e a r l , 1 9 8 8 ) .

S u p p o s e t h a t t h e v i s i b l e u n i t s a l l h a v e e q u a l n o i s e v a r i a n c e s a n d t h a t t w o h i d d e n u n i t s h a v e

g e n e r a t i v e w e i g h t v e c t o r s t h a t h a v e a p o s i t i v e s c a l a r p r o d u c t . E v e n t h o u g h t h e s t a t e s o f t h e t w o

2

I f a n i n v e r t i b l e l i n e a r t r a n s f o r m a t i o n , L , i s a p p l i e d t o a l l t h e g e n e r a t i v e w e i g h t v e c t o r s a n d L

1

i s a p p l i e d t o

t h e p r i o r n o i s e d i s t r i b u t i o n o f t h e h i d d e n u n i t s , t h e l i k e l i h o o d o f t h e d a t a i s u n a e c t e d . T h e o n l y c o n s e q u e n c e i s

t h a t L

1

g e t s a p p l i e d t o t h e p o s t e r i o r d i s t r i b u t i o n s i n h i d d e n s p a c e . T h i s m e a n s t h a t t h e g e n e r a t i v e w e i g h t v e c t o r s

c a n a l w a y s b e f o r c e d t o b e o r t h o g o n a l , b u t o n l y i f a f u l l c o v a r i a n c e m a t r i x i s u s e d f o r t h e p r i o r .

5


6/25

h i d d e n u n i t s a r e u n c o r r e l a t e d i n t h e g e n e r a t i v e m o d e l , t h e y w i l l b e a n t i - c o r r e l a t e d i n t h e p o s t e r i o r

d i s t r i b u t i o n f o r a g i v e n d a t a p o i n t . W h e n o n e o f t h e u n i t s i s h i g h l y a c t i v e i t \ e x p l a i n s " t h e p a r t

o f t h e d a t a p o i n t t h a t p r o j e c t s o n t o i t a n d s o t h e r e i s n o n e e d f o r t h e o t h e r h i d d e n u n i t t o b e s o

a c t i v e ( s e e g u r e 2 ) . B y u s i n g a p p r o p r i a t e r e c o g n i t i o n w e i g h t s i t i s p o s s i b l e t o c o r r e c t l y h a n d l e t h e

d a t a - d e p e n d e n t e e c t s o f e x p l a i n i n g a w a y o n t h e m e a n o f t h e p o s t e r i o r d i s t r i b u t i o n . B u t l e a r n i n g

t h e s e r e c o g n i t i o n w e i g h t s i n a n e u r a l n e t i s t r i c k y ( N e a l a n d D a y a n , 1 9 9 6 ) .

W h e n t h e g e n e r a t i v e w e i g h t v e c t o r s o f t h e h i d d e n u n i t s a r e n o t o r t h o g o n a l , t h e p o s t e r i o r

p r o b a b i l i t y d i s t r i b u t i o n i n h i d d e n s p a c e h a s a f u l l c o v a r i a n c e m a t r i x . T h i s m a t r i x d o e s n o t d e p e n d

o n t h e d a t a , b u t i t d o e s d e p e n d o n t h e g e n e r a t i v e w e i g h t s ( g u r e 2 ) . T h e d i c u l t y o f r e p r e s e n t i n g

a n d c o m p u t i n g t h i s f u l l c o v a r i a n c e p o s t e r i o r i n a n e u r a l n e t w o r k p r o b a b l y e x p l a i n s w h y f a c t o r

a n a l y s i s h a s s e l d o m b e e n p u t f o r w a r d a s a n e u r a l m o d e l . H o w e v e r , a s i m p l i e d v e r s i o n o f f a c t o r

a n a l y s i s c a l l e d P r i n c i p a l C o m p o n e n t s A n a l y s i s h a s b e e n v e r y p o p u l a r . A s w e s h a l l s e e i n s e c t i o n

7 . 3 , a s e n s i b l e n e u r a l n e t w o r k i m p l e m e n t a t i o n o f f a c t o r a n a l y s i s i s p o s s i b l e a n d t h e n e w m o d e l w e

p r e s e n t i n s e c t i o n 7 i s a n o n - l i n e a r g e n e r a l i z a t i o n o f i t .

1/3

0 0

1/3

b

1

1 1

2

1 1

11

a cj k j k

2 1 0 1 2 32

1

0

1

2

3

yk

yj

F i g u r e 2 : a ) T h e h i d d e n - t o - v i s i b l e g e n e r a t i v e w e i g h t s a n d t h e h i d d e n a n d v i s i b l e l o c a l n o i s e v a r i -

a n c e s f o r a s i m p l e f a c t o r a n a l y s i s m o d e l . b ) T h e s u r p r i s i n g v i s i b l e - t o - h i d d e n r e c o g n i t i o n w e i g h t s

t h a t c o m p u t e t h e d a t a - d e p e n d e n t m e a n o f t h e p o s t e r i o r d i s t r i b u t i o n i n t h e t w o - d i m e n s i o n a l h i d -

d e n s p a c e . c ) S a m p l e s f r o m t h e p o s t e r i o r d i s t r i b u t i o n i n h i d d e n s p a c e g i v e n t h e d a t a p o i n t ( 1 1 )

T h e c o v a r i a n c e o f t h e p o s t e r i o r d e p e n d s o n t h e s c a l a r p r o d u c t o f t h e g e n e r a t i v e w e i g h t v e c t o r s o f

t h e t w o h i d d e n u n i t s . I n t h i s e x a m p l e t h e p o s i t i v e s c a l a r p r o d u c t l e a d s t o e x p l a i n i n g a w a y w h i c h

s h o w s u p a s a n e g a t i v e c o r r e l a t i o n o f t h e t w o h i d d e n v a r i a b l e s .

3 . 2 P r i n c i p a l C o m p o n e n t s A n a l y s i s

J u s t a s m i x t u r e s o f G a u s s i a n s c a n b e r e d u c e d t o v e c t o r q u a n t i z a t i o n b y m a k i n g t h e v a r i a n c e s o f

t h e G a u s s i a n s e q u a l a n d i n n i t e s i m a l , f a c t o r a n a l y s i s c a n b e r e d u c e d t o P r i n c i p a l C o m p o n e n t s

A n a l y s i s b y l e t t i n g t h e v a r i a n c e s a s s o c i a t e d w i t h t h e v i s i b l e u n i t s b e e q u a l a n d i n n i t e s i m a l ,

a n d t h e v a r i a n c e s a s s o c i a t e d w i t h t h e h i d d e n u n i t s b e n o n - i n n i t e s i m a l . I n t h i s l i m i t i n g c a s e ,

t h e p o s t e r i o r d i s t r i b u t i o n i n t h e h i d d e n s p a c e s h r i n k s t o a s i n g l e p o i n t . I f t h e g e n e r a t i v e w e i g h t

v e c t o r s a r e f o r c e d t o b e o r t h o g o n a l , t h i s p o i n t c a n b e f o u n d b y p r o j e c t i n g t h e d a t a o n t o t h e p l a n e

s p a n n e d b y t h e g e n e r a t i v e w e i g h t v e c t o r s , a n d t h e w e i g h t m a t r i x t h a t d o e s t h i s p r o j e c t i o n i s j u s t t h e

t r a n s p o s e o f t h e g e n e r a t i v e w e i g h t m a t r i x . P r i n c i p a l C o m p o n e n t s A n a l y s i s h a s s e v e r a l a d v a n t a g e s

o v e r f u l l f a c t o r a n a l y s i s a s a n e u r a l n e t w o r k m o d e l . I t e l i m i n a t e s t h e n e e d t o c o m p u t e o r r e p r e s e n t

a f u l l c o v a r i a n c e p o s t e r i o r d i s t r i b u t i o n i n t h e h i d d e n s t a t e s p a c e , a n d i t m a k e s t h e r e c o g n i t i o n

w e i g h t s t h a t c o n v e r t d a t a i n t o h i d d e n r e p r e s e n t a t i o n s i d e n t i c a l t o t h e g e n e r a t i v e w e i g h t s , s o t h e

6


7/25

n e u r a l n e t w o r k d o e s n o t n e e d t o e x p l i c i t l y r e p r e s e n t t h e g e n e r a t i v e w e i g h t s . H o w e v e r , t h e p r i c e

o f t h i s s i m p l i c i t y i s t h a t i t c a n n o t b e g e n e r a l i z e d t o m u l t i - l a y e r , n o n - l i n e a r s t o c h a s t i c g e n e r a t i v e

m o d e l s .

4 T h e N e e d f o r S p a r s e D i s t r i b u t e d R e p r e s e n t a t i o n s

F a c t o r a n a l y s i s a n d m i x t u r e s o f G a u s s i a n s a r e a t o p p o s i t e e n d s o f a s p e c t r u m o f p o s s i b l e l e a r n i n g

a l g o r i t h m s . I n f a c t o r a n a l y s i s , t h e r e p r e s e n t a t i o n i s c o m p o n e n t i a l o r d i s t r i b u t e d b e c a u s e i t i n v o l v e s

s t a t e s o f a l l o f t h e h i d d e n u n i t s . H o w e v e r , i t i s a l s o l i n e a r a n d i s t h e r e f o r e l i m i t e d t o c a p t u r i n g

t h e i n f o r m a t i o n i n t h e p a i r w i s e c o v a r i a n c e s o f t h e v i s i b l e u n i t s . A l l t h e h i g h e r - o r d e r s t r u c t u r e i s

i n v i s i b l e t o i t . A t t h e o t h e r e n d o f t h e s p e c t r u m , m i x t u r e s o f G a u s s i a n s h a v e l o c a l i s t r e p r e s e n t a -

t i o n s b e c a u s e e a c h d a t a p o i n t i s a s s u m e d t o b e g e n e r a t e d f r o m a s i n g l e h i d d e n u n i t . T h i s i s a n

e x p o n e n t i a l l y i n e c i e n t r e p r e s e n t a t i o n , b u t i t i s n o n - l i n e a r a n d w i t h e n o u g h h i d d e n u n i t s i t c a n

c a p t u r e a l l o f t h e h i g h e r - o r d e r s t r u c t u r e i n t h e d a t a .

3

T h e r e a l l y i n t e r e s t i n g g e n e r a t i v e m o d e l s l i e i n t h e m i d d l e o f t h e s p e c t r u m . T h e y u s e n o n - l i n e a r

d i s t r i b u t e d r e p r e s e n t a t i o n s . T o s e e w h y s u c h r e p r e s e n t a t i o n s a r e n e e d e d , c o n s i d e r a t y p i c a l i m a g e

t h a t c o n t a i n s m u l t i p l e o b j e c t s . T o r e p r e s e n t t h e p o s e a n d d e f o r m a t i o n o f e a c h o b j e c t w e w a n t

a c o m p o n e n t i a l r e p r e s e n t a t i o n o f t h e o b j e c t ' s p a r a m e t e r s . T o r e p r e s e n t t h e m u l t i p l e o b j e c t s w e

n e e d s e v e r a l o f t h e s e c o m p o n e n t i a l r e p r e s e n t a t i o n s a t o n c e .

T h e r e i s a n o t h e r w a y o f t h i n k i n g a b o u t t h e a d v a n t a g e s o f s p a r s e d i s t r i b u t e d r e p r e s e n t a t i o n s .

I t i s a d v a n t a g e o u s t o r e p r e s e n t i m a g e s i n t e r m s o f b a s i s f u n c t i o n s ( a s f a c t o r a n a l y s i s d o e s ) , b u t f o r

d i e r e n t c l a s s e s o f i m a g e s , d i e r e n t b a s i s f u n c t i o n s a r e a p p r o p r i a t e . S o i t i s u s e f u l t o h a v e a l a r g e

r e p e r t o i r e o f b a s i s f u n c t i o n s a n d t o s e l e c t t h e s u b s e t t h a t a r e o p t i m a l f o r r e p r e s e n t i n g t h e c u r r e n t

i m a g e .

I f a n e c i e n t a l g o r i t h m c a n b e f o u n d f o r t t i n g m o d e l s o f t h i s t y p e i t i s l i k e l y t o p r o v e

e v e n m o r e f r u i t f u l t h a n t h e e c i e n t b a c k p r o p a g a t i o n a l g o r i t h m f o r m u l t i - l a y e r n o n - l i n e a r r e g r e s -

s i o n ( R u m e l h a r t e t a l . , 1 9 8 6 ) . T h e d i c u l t y l i e s i n t h e c o m p u t a t i o n o f t h e p o s t e r i o r d i s t r i b u t i o n

o v e r h i d d e n s t a t e s w h e n g i v e n a d a t a p o i n t . T h i s d i s t r i b u t i o n , o r a n a p p r o x i m a t i o n t o i t , i s r e -

q u i r e d b o t h f o r l e a r n i n g t h e g e n e r a t i v e m o d e l a n d f o r p e r c e p t u a l i n f e r e n c e o n c e t h e m o d e l h a s

b e e n l e a r n e d . M i x t u r e s o f G a u s s i a n s a n d f a c t o r a n a l y s i s a r e s t a n d a r d s t a t i s t i c a l m o d e l s p r e c i s e l y

b e c a u s e t h e e x a c t c o m p u t a t i o n o f t h e p o s t e r i o r d i s t r i b u t i o n i s t r a c t a b l e .

5 F r o m B o l t z m a n n m a c h i n e s t o L o g i s t i c B e l i e f N e t s

T h e B o l t z m a n n m a c h i n e ( H i n t o n a n d S e j n o w s k i , 1 9 8 6 ) w a s , p e r h a p s , t h e r s t n e u r a l n e t w o r k

l e a r n i n g a l g o r i t h m t o b e b a s e d o n a n e x p l i c i t g e n e r a t i v e m o d e l t h a t u s e d d i s t r i b u t e d , n o n - l i n e a r

r e p r e s e n t a t i o n s . B o l t z m a n n m a c h i n e s u s e s t o c h a s t i c b i n a r y u n i t s a n d , w i t h h h i d d e n u n i t s , t h e

n u m b e r o f p o s s i b l e r e p r e s e n t a t i o n s o f e a c h d a t a p o i n t i s 2

h

. I t w o u l d t a k e e x p o n e n t i a l t i m e t o

c o m p u t e t h e p o s t e r i o r d i s t r i b u t i o n a c r o s s a l l o f t h e s e p o s s i b l e r e p r e s e n t a t i o n s a n d m o s t o f t h e m

w o u l d t y p i c a l l y h a v e p r o b a b i l i t i e s v e r y c l o s e t o 0 , s o t h e B o l t z m a n n m a c h i n e u s e s a M o n t e C a r l o

3

I f t h e s t r u c t u r e i n v o l v e s m u l t i p l e i n t e r a c t i n g c a u s e s , a m i x t u r e o f G a u s s i a n s m o d e l c a n n o t m a k e t h e s e p a r a t e

c a u s e s e x p l i c i t i n t h e h i d d e n u n i t s , b u t i t c a n m o d e l t h e p r o b a b i l i t y d e n s i t y t o a n y a c c u r a c y r e q u i r e d .

7


8/25

m e t h o d k n o w n a s G i b b s s a m p l i n g ( H i n t o n a n d S e j n o w s k i , 1 9 8 3 ; G e m a n a n d G e m a n , 1 9 8 4 ) t o

s t o c h a s t i c a l l y p i c k r e p r e s e n t a t i o n s a c c o r d i n g t o t h e i r p o s t e r i o r p r o b a b i l i t i e s . B o t h t h e G i b b s s a m -

p l i n g f o r p e r c e p t u a l i n f e r e n c e a n d t h e l e a r n i n g r u l e f o r f o l l o w i n g t h e g r a d i e n t o f t h e l o g l i k e l i h o o d

o f t h e d a t a a r e r e m a r k a b l y s i m p l e t o i m p l e m e n t i n a n e t w o r k o f s y m m e t r i c a l l y c o n n e c t e d s t o c h a s -

t i c b i n a r y u n i t s . U n f o r t u n a t e l y , t h e l e a r n i n g a l g o r i t h m i s e x t r e m e l y s l o w a n d , a s a r e s u l t , t h e

u n s u p e r v i s e d f o r m o f t h e a l g o r i t h m n e v e r r e a l l y s u c c e e d e d i n e x t r a c t i n g i n t e r e s t i n g h i e r a r c h i c a l

r e p r e s e n t a t i o n s .

T h e B o l t z m a n n m a c h i n e l e a r n i n g a l g o r i t h m i s s l o w f o r t w o r e a s o n s . F i r s t , t h e p e r c e p t u a l

i n f e r e n c e i s s l o w b e c a u s e i t m u s t s p e n d a l o n g t i m e d o i n g G i b b s s a m p l i n g b e f o r e t h e p r o b a b i l i t i e s

a r e c o r r e c t . S e c o n d , t h e l e a r n i n g s i g n a l f o r t h e w e i g h t b e t w e e n t w o u n i t s i s t h e d i e r e n c e b e t w e e n

t h e i r s a m p l e d c o r r e l a t i o n i n t w o d i e r e n t c o n d i t i o n s . W h e n t h e t w o c o r r e l a t i o n s a r e s i m i l a r , t h e

s a m p l i n g n o i s e m a k e s t h e i r d i e r e n c e e x t r e m e l y n o i s y .

j

i

h

k

j

i

h

k

gjigji

gkjgkj

F i g u r e 3 : U n i t s i n a b e l i e f n e t w o r k .

N e a l ( 1 9 9 2 ) r e a l i s e d t h a t l e a r n i n g i s c o n s i d e r a b l y m o r e e c i e n t i f , i n s t e a d o f s y m m e t r i c c o n -

n e c t i o n s , t h e g e n e r a t i v e m o d e l u s e s d i r e c t e d c o n n e c t i o n s t h a t f o r m a n a c y c l i c g r a p h . T h i s k i n d

o f g e n e r a t i v e m o d e l i s c a l l e d a b e l i e f n e t w o r k a n d i t h a s a n i m p o r t a n t p r o p e r t y t h a t i s m i s s i n g

i n m o d e l s w h o s e g e n e r a t i v e c o n n e c t i o n s f o r m c y c l e s : I t i s s t r a i g h t f o r w a r d t o c o m p u t e t h e j o i n t

p r o b a b i l i t y o f a d a t a p o i n t a n d a c o n g u r a t i o n o f s t a t e s o f a l l t h e h i d d e n u n i t s . I n a B o l t z m a n n

m a c h i n e , t h i s p r o b a b i l i t y d e p e n d s n o t o n l y o n t h e p a r t i c u l a r h i d d e n s t a t e s b u t a l s o o n a n a d d i -

t i o n a l n o r m a l i z a t i o n t e r m c a l l e d t h e p a r t i t i o n f u n c t i o n t h a t i n v o l v e s a l l p o s s i b l e c o n g u r a t i o n s o f

s t a t e s . I t i s t h e d e r i v a t i v e s o f t h e p a r t i t i o n f u n c t i o n t h a t m a k e B o l t z m a n n m a c h i n e l e a r n i n g s o

i n e c i e n t .

N e a l i n v e s t i g a t e d l o g i s t i c b e l i e f n e t s ( L B N ) t h a t c o n s i s t o f m u l t i p l e l a y e r s o f b i n a r y s t o c h a s t i c

u n i t s ( s e e g u r e 3 ) . T o g e n e r a t e d a t a , e a c h u n i t , j , p i c k s a b i n a r y s t a t e , s

j

, b a s e d o n a t o p - d o w n

e x p e c t a t i o n ^s

j

w h i c h i s d e t e r m i n e d b y i t s g e n e r a t i v e b i a s , g

0 j

, t h e b i n a r y s t a t e s o f u n i t s , k , i n t h e

l a y e r a b o v e a n d t h e w e i g h t s o n t h e g e n e r a t i v e c o n n e c t i o n s c o m i n g f r o m t h o s e u n i t s .

p ( s

j

= 1 ) = ^s

j

= ( g

0 j

+

P

k

s

k

g

k j

) ( 1 0 )

w h e r e ( x ) = ( 1 + e x p ( x ) )

1

8


9/25

5 . 1 P e r c e p t u a l I n f e r e n c e i n a L o g i s t i c B e l i e f N e t

A s w i t h B o l t z m a n n m a c h i n e s , i t i s e x p o n e n t i a l l y e x p e n s i v e t o c o m p u t e t h e e x a c t p o s t e r i o r d i s t r i -

b u t i o n o v e r t h e h i d d e n u n i t s o f a n L B N w h e n g i v e n a d a t a p o i n t , s o N e a l u s e d G i b b s s a m p l i n g .

W i t h a p a r t i c u l a r d a t a p o i n t c l a m p e d o n t h e v i s i b l e u n i t s , t h e h i d d e n u n i t s a r e v i s i t e d o n e a t a

t i m e . E a c h t i m e h i d d e n u n i t u i s v i s i t e d , i t s s t a t e i s s t o c h a s t i c a l l y s e l e c t e d t o b e 1 o r 0 i n p r o p o r -

t i o n t o t w o p r o b a b i l i t i e s . T h e r s t , P

s

u

= 1

i s t h e j o i n t p r o b a b i l i t y o f g e n e r a t i n g t h e s t a t e s o f a l l

t h e u n i t s i n t h e n e t w o r k ( i n c l u d i n g u ) i f u h a s s t a t e 1 a n d a l l t h e o t h e r s h a v e t h e s t a t e d e n e d b y

t h e c u r r e n t c o n g u r a t i o n o f s t a t e s , . T h e s e c o n d , P

s

u

= 0

, i s t h e s a m e q u a n t i t y i f u h a s s t a t e 0 .

W h e n c a l c u l a t i n g t h e s e p r o b a b i l i t i e s , t h e s t a t e s o f a l l t h e o t h e r u n i t s a r e h e l d c o n s t a n t . I t c a n b e

s h o w n t h a t r e p e a t e d a p p l i c a t i o n o f t h i s s t o c h a s t i c d e c i s i o n r u l e e v e n t u a l l y l e a d s t o h i d d e n s t a t e

c o n g u r a t i o n s b e i n g s e l e c t e d a c c o r d i n g t o t h e i r p o s t e r i o r p r o b a b i l i t i e s .

B e c a u s e t h e L B N i s a c y c l i c i t i s e a s y t o c o m p u t e t h e j o i n t p r o b a b i l i t y P

o f a c o n g u r a t i o n ,

, o f s t a t e s o f a l l t h e u n i t s . T h e u n i t s t h a t s e n d g e n e r a t i v e c o n n e c t i o n s t o u n i t i a r e c a l l e d t h e

\ p a r e n t s " o f i a n d w e d e n o t e t h e s t a t e s o f t h e s e p a r e n t s i n g l o b a l c o n g u r a t i o n b y p a ( i )

P

=

Y

i

p ( s

i

p a ( i ) ) ( 1 1 )

w h e r e s

i

i s t h e b i n a r y s t a t e o f u n i t i i n c o n g u r a t i o n

I t i s c o n v e n i e n t t o w o r k i n t h e d o m a i n o f n e g a t i v e l o g p r o b a b i l i t i e s w h i c h a r e c a l l e d e n e r g i e s

b y a n a l o g y w i t h s t a t i s t i c a l p h y s i c s . W e d e n e E

t o b e l n P

E

=

X

u

( s

u

l n ^s

u

+ ( 1 s

u

) l n ( 1 ^s

u

) ) ( 1 2 )

w h e r e s

u

i s t h e b i n a r y s t a t e o f u n i t u i n c o n g u r a t i o n ^s

u

i s t h e t o p - d o w n e x p e c t a t i o n g e n e r a t e d

b y t h e l a y e r a b o v e , a n d u i s a n i n d e x o v e r a l l t h e u n i t s i n t h e n e t .

T h e r u l e f o r s t o c h a s t i c a l l y p i c k i n g a n e w s t a t e f o r u r e q u i r e s t h e r a t i o o f t w o p r o b a b i l i t i e s a n d

h e n c e t h e d i e r e n c e o f t w o e n e r g i e s

E

u

= E

s

u

= 0

E

s

u

= 1

( 1 3 )

p ( s

u

= 1 ) = ( E

u

) ( 1 4 )

A l l t h e c o n t r i b u t i o n s t o t h e e n e r g y o f c o n g u r a t i o n t h a t d o n o t d e p e n d o n s

j

c a n b e i g n o r e d

w h e n c o m p u t i n g E

j

. T h i s l e a v e s a c o n t r i b u t i o n t h a t d e p e n d s o n t h e t o p - d o w n e x p e c t a t i o n ^s

j

g e n e r a t e d b y t h e u n i t s i n t h e l a y e r a b o v e ( s e e E q . 1 0 ) a n d a c o n t r i b u t i o n t h a t d e p e n d s o n b o t h

t h e s t a t e s , s

i

, a n d t h e t o p - d o w n e x p e c t a t i o n s , ^s

i

, o f u n i t s i n t h e l a y e r b e l o w ( s e e g u r e 3 )

E

j

= l n ^s

j

l n ( 1 ^s

j

) +

X

i

h

s

i

l n ^s

s

j

= 1

i

+ ( 1 s

i

) l n

1 ^s

s

j

= 1

i

s

i

l n ^s

s

j

= 0

i

( 1 s

i

) l n

1 ^s

s

j

= 0

i

i

( 1 5 )

G i v e n s a m p l e s f r o m t h e p o s t e r i o r d i s t r i b u t i o n , t h e g e n e r a t i v e w e i g h t s o f a L B N c a n b e l e a r n e d

b y u s i n g t h e o n l i n e d e l t a r u l e w h i c h p e r f o r m s g r a d i e n t a s c e n t i n t h e l o g l i k e l i h o o d o f t h e d a t a :

g

j i

= s

j

( s

i

^s

i

) ( 1 6 )

9


10/25

U n t i l v e r y r e c e n t l y ( L e w i c k i a n d S e j n o w s k i , 1 9 9 7 ) , l o g i s t i c b e l i e f n e t s w e r e w i d e l y i g n o r e d

a s m o d e l s o f n e u r a l c o m p u t a t i o n . T h i s m a y b e b e c a u s e t h e c o m p u t a t i o n o f E

j

i n E q . 1 5

r e q u i r e s u n i t j t o o b s e r v e n o t o n l y t h e s t a t e s o f u n i t s i n t h e l a y e r b e l o w b u t a l s o t h e i r t o p - d o w n

e x p e c t a t i o n s . I n s e c t i o n 7 . 3 w e s h o w h o w t h i s p r o b l e m c a n b e n e s s e d b u t r s t w e d e s c r i b e a n

a l t e r n a t i v e w a y o f m a k i n g L B N ' s b i o l o g i c a l l y p l a u s i b l e .

6 T h e w a k e - s l e e p a l g o r i t h m

T h e r e i s a n a p p r o x i m a t e m e t h o d o f p e r f o r m i n g p e r c e p t u a l i n f e r e n c e i n a L B N t h a t l e a d s t o a

v e r y s i m p l e i m p l e m e n t a t i o n w h i c h w o u l d b e b i o l o g i c a l l y q u i t e p l a u s i b l e i f o n l y i t w e r e b e t t e r a t

e x t r a c t i n g t h e h i d d e n c a u s e s o f d a t a ( H i n t o n e t a l . , 1 9 9 5 ) . I n s t e a d o f u s i n g G i b b s s a m p l i n g , w e

u s e a s e p a r a t e s e t o f b o t t o m - u p r e c o g n i t i o n c o n n e c t i o n s t o p i c k b i n a r y s t a t e s f o r u n i t s i n o n e l a y e r

g i v e n t h e a l r e a d y s e l e c t e d b i n a r y s t a t e s o f u n i t s i n t h e l a y e r b e l o w . T h e l e a r n i n g r u l e f o r t h e

t o p - d o w n g e n e r a t i v e w e i g h t s i s t h e s a m e a s f o r a n L B N . I t c a n b e s h o w n t h a t t h i s l e a r n i n g r u l e ,

i n s t e a d o f f o l l o w i n g t h e g r a d i e n t o f t h e l o g l i k e l i h o o d n o w f o l l o w s t h e g r a d i e n t o f t h e p e n a l i z e d l o g

l i k e l i h o o d w h e r e t h e p e n a l t y t e r m i s t h e K u l l b a c k - L i e b l e r d i v e r g e n c e b e t w e e n t h e t r u e p o s t e r i o r

d i s t r i b u t i o n a n d t h e d i s t r i b u t i o n p r o d u c e d b y t h e r e c o g n i t i o n c o n n e c t i o n s . T h e p e n a l i z e d l o g

l i k e l i h o o d a c t s a s a l o w e r b o u n d o n t h e l o g l i k e l i h o o d o f t h e d a t a a n d t h e e e c t o f l e a r n i n g i s

t o i m p r o v e t h i s l o w e r b o u n d . I n a t t e m p t i n g t o r a i s e t h e b o u n d , t h e l e a r n i n g t r i e s t o a d j u s t t h e

g e n e r a t i v e m o d e l s o t h a t t h e t r u e p o s t e r i o r d i s t r i b u t i o n i s a s c l o s e a s p o s s i b l e t o t h e d i s t r i b u t i o n

a c t u a l l y c o m p u t e d b y t h e r e c o g n i t i o n w e i g h t s .

T h e r e c o g n i t i o n w e i g h t s a r e l e a r n e d b y i n t r o d u c i n g a \ s l e e p " p h a s e i n w h i c h t h e g e n e r a t i v e

m o d e l i s r u n t o p - d o w n t o p r o d u c e f a n t a s y d a t a . T h e n e t w o r k k n o w s t h e t r u e h i d d e n c a u s e s o f t h e

f a n t a s y d a t a a n d t h e r e c o g n i t i o n c o n n e c t i o n s a r e a d j u s t e d t o m a x i m i z e t h e l i k e l i h o o d o f r e c o v e r i n g

t h e s e c a u s e s . T h i s i s j u s t a s i m p l e a p p l i c a t i o n o f t h e d e l t a r u l e w h e r e t h e l e a r n i n g s i g n a l i s o b t a i n e d

b y c o m p a r i n g t h e p r o b a b i l i t y t h a t t h e r e c o g n i t i o n c o n n e c t i o n s w o u l d t u r n a u n i t o n w i t h t h e s t a t e

i t a c t u a l l y h a d w h e n t h e f a n t a s y d a t a w a s g e n e r a t e d .

T h e a t t r a c t i v e p r o p e r t i e s o f t h e w a k e - s l e e p a l g o r i t h m a r e t h a t t h e p e r c e p t u a l i n f e r e n c e i s

s i m p l e a n d f a s t a n d t h e l e a r n i n g r u l e s f o r t h e g e n e r a t i v e a n d r e c o g n i t i o n w e i g h t s a r e s i m p l e a n d

e n t i r e l y l o c a l . U n f o r t u n a t e l y i t h a s s o m e s e r i o u s d i s a d v a n t a g e s :

1 . T h e r e c o g n i t i o n p r o c e s s d o e s n o t d o c o r r e c t p r o b a b i l i s t i c i n f e r e n c e b a s e d o n t h e g e n e r a t i v e

m o d e l . I t d o e s n o t h a n d l e e x p l a i n i n g a w a y i n a p r i n c i p l e d m a n n e r a n d i t d o e s n o t a l l o w f o r

t o p - d o w n e e c t s i n p e r c e p t i o n .

2 . T h e s l e e p p h a s e o f t h e l e a r n i n g a l g o r i t h m o n l y a p p r o x i m a t e l y f o l l o w s t h e g r a d i e n t o f t h e

p e n a l i z e d l o g l i k e l i h o o d .

3 . C o n t i n u o u s q u a n t i t i e s s u c h a s i n t e n s i t i e s , d i s t a n c e s o r o r i e n t a t i o n s h a v e t o b e r e p r e s e n t e d

u s i n g s t o c h a s t i c b i n a r y n e u r o n s w h i c h i s i n e c i e n t .

4 . A l t h o u g h t h e l e a r n i n g a l g o r i t h m w o r k s r e a s o n a b l y w e l l f o r s o m e t a s k s , c o n s i d e r a b l e p a r a m e t e r -

t w e a k i n g i s n e c e s s a r y t o g e t i t t o p r o d u c e e a s i l y i n t e r p r e t a b l e h i d d e n u n i t s o n t o y t a s k s s u c h

a s t h e o n e d e s c r i b e d i n s e c t i o n 8 . O n o t h e r t a s k s , s u c h a s t h e o n e d e s c r i b e d i n s e c t i o n 9 ,

i t c o n s i s t e n t l y f a i l s t o c a p t u r e o b v i o u s h i d d e n s t r u c t u r e . T h i s i s p r o b a b l y b e c a u s e o f i t s

i n a b i l i t y t o h a n d l e e x p l a i n i n g a w a y c o r r e c t l y .

1 0


11/25

7 R e c t i e d G a u s s i a n B e l i e f N e t s

W e n o w d e s c r i b e a n e w m o d e l c a l l e d t h e R e c t i e d G a u s s i a n B e l i e f N e t ( R G B N ) w h i c h s e e m s t o

w o r k m u c h b e t t e r t h a n t h e w a k e - s l e e p a l g o r i t h m . T h e R G B N u s e s u n i t s w i t h s t a t e s t h a t a r e

e i t h e r p o s i t i v e r e a l v a l u e s o r z e r o , s o i t c a n r e p r e s e n t r e a l - v a l u e d l a t e n t v a r i a b l e s d i r e c t l y . I t s m a i n

d i s a d v a n t a g e i s t h a t t h e r e c o g n i t i o n p r o c e s s i n v o l v e s G i b b s s a m p l i n g w h i c h c o u l d b e v e r y t i m e

c o n s u m i n g . I n p r a c t i c e , h o w e v e r , 1 0 t o 2 0 s a m p l e s p e r u n i t h a v e p r o v e d a d e q u a t e f o r s o m e s m a l l

b u t i n t e r e s t i n g t a s k s .

W e r s t d e s c r i b e t h e R G B N w i t h o u t c o n s i d e r i n g n e u r a l p l a u s i b i l i t y . T h e n w e s h o w h o w

l a t e r a l i n t e r a c t i o n s w i t h i n a l a y e r c a n b e u s e d t o p e r f o r m e x p l a i n i n g a w a y c o r r e c t l y . T h i s m a k e s

t h e R G B N f a r m o r e p l a u s i b l e a s a n e u r a l m o d e l a n d l e a d s t o a v e r y n a t u r a l e x p l a n a t i o n f o r t h e

p r e v a l e n c e o f t o p o g r a p h i c m a p s i n c o r t e x .

F i g u r e 4 : T h e r e c t i e d G a u s s i a n .

T h e g e n e r a t i v e m o d e l f o r R G B N ' s c o n s i s t s o f m u l t i p l e l a y e r s o f u n i t s e a c h o f w h i c h h a s a

r e a l - v a l u e d u n r e c t i e d s t a t e , y

j

, a n d a r e c t i e d s t a t e , y

j

+

= m a x ( y

j

0 ) . T h i s r e c t i c a t i o n i s

t h e o n l y n o n - l i n e a r i t y i n t h e n e t w o r k . T h e v a l u e o f y

j

i s G a u s s i a n d i s t r i b u t e d w i t h a s t a n d a r d

d e v i a t i o n

j

a n d m e a n , ^y

j

t h a t i s d e t e r m i n e d b y t h e g e n e r a t i v e b i a s , g

0 j

, a n d t h e c o m b i n e d e e c t s

o f t h e r e c t i e d s t a t e s o f u n i t s , k , i n t h e l a y e r a b o v e :

^y

j

= g

0 j

+

X

k

y

k

+

g

k j

( 1 7 )

G i v e n t h e s t a t e s o f i t s p a r e n t s , t h e r e c t i e d s t a t e y

j

+

t h e r e f o r e h a s a G a u s s i a n d i s t r i b u t i o n

a b o v e z e r o , b u t a l l o f t h e m a s s o f t h e G a u s s i a n t h a t f a l l s b e l o w z e r o i s c o n c e n t r a t e d i n a n i n n i t e l y

d e n s e s p i k e a t z e r o a s s h o w n i n g u r e 4 . T h i s i n n i t e d e n s i t y c r e a t e s p r o b l e m s i f w e a t t e m p t t o u s e

G i b b s s a m p l i n g o v e r t h e r e c t i e d s t a t e s , s o w e p e r f o r m G i b b s s a m p l i n g o n t h e u n r e c t i e d s t a t e s .

1 1


12/25

7 . 1 S a m p l i n g f r o m t h e p o s t e r i o r d i s t r i b u t i o n i n a n R G B N

C o n s i d e r a u n i t , j , i n s o m e i n t e r m e d i a t e l a y e r o f a m u l t i - l a y e r R G B N ( s e e g u r e 3 ) . S u p p o s e t h a t

w e x t h e u n r e c t i e d s t a t e s o f a l l t h e o t h e r u n i t s i n t h e n e t .

4

T o p e r f o r m G i b b s s a m p l i n g , w e n e e d

t o s t o c h a s t i c a l l y s e l e c t a v a l u e f o r y

j

a c c o r d i n g t o i t s p o s t e r i o r d i s t r i b u t i o n g i v e n t h e u n r e c t i e d

s t a t e s o f a l l t h e o t h e r u n i t s .

I f w e t h i n k i n t e r m s o f e n e r g i e s t h a t c o r r e s p o n d t o n e g a t i v e l o g p r o b a b i l i t i e s , t h e r e c t i e d

s t a t e s o f t h e u n i t s i n t h e l a y e r a b o v e c o n t r i b u t e a q u a d r a t i c e n e r g y t e r m b y d e t e r m i n i n g ^y

j

. T h e

u n r e c t i e d s t a t e s o f u n i t s , i , i n t h e l a y e r b e l o w c o n t r i b u t e n o t h i n g i f y

j

+

i s 0 , a n d i f y

j

+

i s

p o s i t i v e t h e y e a c h c o n t r i b u t e a q u a d r a t i c t e r m b e c a u s e o f t h e e e c t o f y

j

+

o n ^y

i

E ( y

j

) =

( y

j

^y

j

)

2

2

2

j

+

X

i

( y

i

P

h

y

h

+

g

h i

)

2

2

2

i

( 1 8 )

w h e r e h i s a n i n d e x o v e r a l l t h e u n i t s i n t h e s a m e l a y e r a s j i n c l u d i n g j i t s e l f , s o y

j

i n u e n c e s

t h e r i g h t h a n d s i d e o f t h e E q . 1 8 v i a y

j

+

= m a x ( y

j

0 ) . T e r m s t h a t d o n o t d e p e n d o n y

j

h a v e

b e e n o m i t t e d f r o m E q . 1 8 . F o r v a l u e s o f y

j

b e l o w z e r o t h e r e i s a q u a d r a t i c e n e r g y f u n c t i o n w h i c h

l e a d s t o a G a u s s i a n p o s t e r i o r d i s t r i b u t i o n . T h e s a m e i s t r u e f o r v a l u e s o f y

j

a b o v e z e r o , b u t i t i s

a d i e r e n t q u a d r a t i c ( s e e g u r e 5 b ) . T h e G a u s s i a n p o s t e r i o r d i s t r i b u t i o n s c o r r e s p o n d i n g t o t h e

t w o q u a d r a t i c s m u s t a g r e e a t y

j

= 0 ( g u r e 5 a ) . B e c a u s e t h e p o s t e r i o r d i s t r i b u t i o n i s p i e c e w i s e

G a u s s i a n i t i s p o s s i b l e t o p e r f o r m G i b b s s a m p l i n g e x a c t l y a n d f a i r l y e c i e n t l y ( s e e a p p e n d i x ) .

3 2 1 0 1 2 3

a

p(y)

3 2 1 0 1 2 3y

E(y)

b

Topdown contribution

Bottomup contribution

F i g u r e 5 : a ) S c h e m a t i c o f t h e p o s t e r i o r d e n s i t y o f a n u n r e c t i e d s t a t e o f a u n i t . b ) B o t t o m - u p

a n d t o p - d o w n e n e r g y f u n c t i o n s c o r r e s p o n d i n g t o a .

4

A c t u a l l y i t i s o n l y n e c e s s a r y t o x t h e u n r e c t i e d s t a t e s o f u n i t s i n t h e l a y e r a b o v e t h a t s e n d a g e n e r a t i v e

c o n n e c t i o n t o j , u n i t s i n t h e l a y e r b e l o w t o w h i c h j s e n d s a g e n e r a t i v e c o n n e c t i o n , a n d u n i t s i n t h e s a m e l a y e r t h a t

s e n d g e n e r a t i v e c o n n e c t i o n s t o u n i t s d i r e c t l y a e c t e d b y j

1 2


13/25

7 . 2 L e a r n i n g t h e p a r a m e t e r s o f a R G B N

G i v e n s a m p l e s f r o m t h e p o s t e r i o r d i s t r i b u t i o n , t h e g e n e r a t i v e w e i g h t s o f a R G B N c a n b e l e a r n e d

b y u s i n g t h e o n l i n e d e l t a r u l e t o p e r f o r m g r a d i e n t a s c e n t i n t h e l o g l i k e l i h o o d o f t h e d a t a :

g

j i

= y

j

+

( y

i

^y

i

) ( 1 9 )

T h e v a r i a n c e o f t h e l o c a l G a u s s i a n n o i s e o f e a c h u n i t ,

2

j

, c a n b e l e a r n e d b y a n o n l i n e r u l e :

2

j

= ( y

j

^y

j

)

2

2

j

] ( 2 0 )

A l t e r n a t i v e l y ,

2

j

c a n b e x e d a t 1 f o r a l l h i d d e n u n i t s a n d t h e e e c t i v e l o c a l n o i s e l e v e l c a n b e

c o n t r o l l e d b y s c a l i n g t h e g e n e r a t i v e w e i g h t s .

7 . 3 T h e R o l e o f L a t e r a l C o n n e c t i o n s

L e e a n d S e u n g ( 1 9 9 7 ) i n t r o d u c e d a c l e v e r t r i c k i n w h i c h l a t e r a l c o n n e c t i o n s a r e u s e d t o h a n d l e

e x p l a i n i n g a w a y e e c t s . T h e t r i c k i s m o s t e a s i l y u n d e r s t o o d f o r a l i n e a r g e n e r a t i v e m o d e l o f t h e

t y p e u s e d i n f a c t o r a n a l y s i s . O n e c o n t r i b u t i o n , E

b e l o w

, t o t h e e n e r g y o f t h e s t a t e o f t h e n e t w o r k i s

t h e s q u a r e d d i e r e n c e s b e t w e e n t h e s t a t e s o f t h e u n i t s i n t h e b o t t o m l a y e r , y

j

, a n d t h e t o p - d o w n

e x p e c t a t i o n s , ^y

j

g e n e r a t e d b y t h e s t a t e s o f u n i t s i n t h e l a y e r a b o v e . A n o t h e r c o n t r i b u t i o n , E

a b o v e

i s t h e s q u a r e d d i e r e n c e b e t w e e n t h e s t a t e s i n t h e t o p l a y e r , y

k

, a n d t h e i r t o p - d o w n e x p e c t a t i o n s ,

^y

k

. A s s u m i n g t h e l o c a l n o i s e m o d e l s f o r t h e l o w e r l a y e r u n i t s a l l h a v e u n i t v a r i a n c e , a n d i g n o r i n g

b i a s e s a n d c o n s t a n t t e r m s t h a t a r e u n a e c t e d b y t h e s t a t e s o f t h e u n i t s

E

b e l o w

=

X

j

( y

j

^y

j

)

2

=

X

j

( y

j

P

k

y

k

g

k j

)

2

( 2 1 )

T h i s e x p r e s s i o n c a n b e r e a r r a n g e d t o g i v e

E

b e l o w

=

X

j

y

2

j

2

X

k

y

k

X

j

y

j

g

k j

X

k

X

y

k

y (

P

j

g

k j

g

j

) ( 2 2 )

S e t t i n g r

j k

= g

k j

a n d m

k

=

P

j

g

k j

g

j

w e g e t

E

b e l o w

=

X

j

y

2

j

2

X

k

y

k

X

j

y

j

r

j k

X

k

y

k

X

y m

k

( 2 3 )

T h e w a y i n w h i c h E

b e l o w

d e p e n d s o n e a c h a c t i v i t y i n t h e l a y e r a b o v e , y

k

, i s d e t e r m i n e d b y t h e

s e c o n d a n d t h i r d t e r m s i n E q . 2 3 . S o i f u n i t k c o m p u t e s

P

j

y

j

r

j k

u s i n g t h e b o t t o m - u p r e c o g n i t i o n

c o n n e c t i o n s , a n d

P

y m

k

u s i n g t h e l a t e r a l c o n n e c t i o n s i t h a s a l l o f t h e i n f o r m a t i o n i t r e q u i r e s

a b o u t E

b e l o w

t o p e r f o r m G i b b s s a m p l i n g i n t h e p o t e n t i a l f u n c t i o n E

b e l o w

+ E

a b o v e

( s e e g u r e 6 ) .

I f w e a r e w i l l i n g t o u s e G i b b s s a m p l i n g , S e u n g ' s t r i c k a l l o w s a p r o p e r i m p l e m e n t a t i o n o f

f a c t o r a n a l y s i s i n a n e u r a l n e t w o r k b e c a u s e i t m a k e s i t p o s s i b l e t o s a m p l e f r o m t h e f u l l c o v a r i a n c e

p o s t e r i o r d i s t r i b u t i o n i n t h e h i d d e n s t a t e s p a c e . S e u n g ' s t r i c k c a n a l s o b e u s e d i n a R G B N a n d

i t e l i m i n a t e s t h e m o s t n e u r a l l y i m p l a u s i b l e a s p e c t o f t h i s m o d e l w h i c h i s t h a t a u n i t i n o n e l a y e r

a p p e a r s t o n e e d t o s e n d b o t h i t s s t a t e y a n d t h e t o p - d o w n p r e d i c t i o n o f i t s s t a t e ^y t o u n i t s i n t h e

1 3


14/25

k

glj

rjk rjlgkj

j

lmkl

F i g u r e 6 : A n e t w o r k w h i c h , i n a d d i t i o n t o t h e g e n e r a t i v e c o n n e c t i o n s , h a s b o t t o m - u p a n d l a t e r a l

c o n n e c t i o n s f o r p e r f o r m i n g p e r c e p t u a l i n f e r e n c e .

l a y e r a b o v e . U s i n g t h e l a t e r a l c o n n e c t i o n s , t h e u n i t s i n t h e l a y e r a b o v e c a n , i n e e c t , c o m p u t e a l l

t h e y n e e d t o k n o w a b o u t t h e t o p - d o w n p r e d i c t i o n s . T h e a c t u a l c o m p u t a t i o n t h a t n e e d s t o t a k e

p l a c e i n s i d e t h e u n i t i s n o n - t r i v i a l , b u t t h e c o m m u n i c a t i o n w i t h o t h e r u n i t s i s s i m p l e .

T h e r e i s o n e r e m a i n i n g d i c u l t y t h a t i s a c o n s e q u e n c e o f o u r d e c i s i o n t o p e r f o r m G i b b s

s a m p l i n g o n t h e u n r e c t i e d s t a t e s . A u n i t n e e d s t o s e n d i t s u n r e c t i e d s t a t e t o u n i t s i n t h e l a y e r

a b o v e a n d i t s r e c t i e d s t a t e t o u n i t s i n t h e l a y e r b e l o w . C u r r e n t l y , w e d o n o t k n o w h o w t o x t h i s

d i c u l t y .

7 . 4 L e a r n i n g t h e l a t e r a l a n d r e c o g n i t i o n c o n n e c t i o n s

I n c o m p u t e r s i m u l a t i o n s , w e c a n s i m p l y s e t e a c h l a t e r a l c o n n e c t i o n m

k

t o b e

P

j

g

k j

g

j

. T h e

s a m e e e c t c a n b e a c h i e v e d i n a m o r e b i o l o g i c a l l y p l a u s i b l e w a y . S u p p o s e u n i t s i n o n e l a y e r a r e

d r i v e n b y i n d e p e n d e n t , u n i t - v a r i a n c e G a u s s i a n n o i s e a n d a r e a l l o w e d t o d r i v e u n i t s i n t h e l a y e r

a b o v e u s i n g r e c o g n i t i o n w e i g h t s t h a t a r e e q u a l t o t h e g e n e r a t i v e w e i g h t s . T h e c o v a r i a n c e o f t h e

s t a t e s y

k

a n d y o f t w o u n i t s i n t h e l a y e r a b o v e w i l l b e e q u a l t o

P

j

g

k j

g

j

. T h e l a t e r a l i n t e r a c t i o n

c a n t h e n b e l e a r n e d b y a s i m p l e a n t i - H e b b i a n r u l e :

m

k

= ( m

k

y

k

y ) ( 2 4 )

A s i m i l a r a p p r o a c h c a n b e u s e d t o s e t r

j k

e q u a l t o g

k j

. I f u n i t s i n o n e l a y e r a r e d r i v e n b y

i n d e p e n d e n t , u n i t - v a r i a n c e G a u s s i a n n o i s e a n d t h e i r g e n e r a t i v e w e i g h t s a r e u s e d t o d r i v e u n i t s i n

t h e l a y e r b e l o w , t h e n t h e c o v a r i a n c e o f y

k

a n d y

j

w i l l e q u a l g

k j

a n d H e b b i a n l e a r n i n g c a n b e u s e d

t o s e t r

j k

r

j k

= ( r

j k

+ y

j

y

k

) ( 2 5 )

S l i g h t l y m o r e c o m p l i c a t e d r u l e s a r e n e e d e d i f s t a t e s c a n n o t b e n e g a t i v e a n d t h e r e a r e p r o b a b l y

m a n y o t h e r r e l a t i v e l y s i m p l e w a y s o f a c h i e v i n g t h e s a m e e n d . T h e p o i n t o f p r e s e n t i n g t h i s s i m p l e

r u l e i s t o s h o w t h a t i t i s n o t a m a j o r p r o b l e m t o l e a r n t h e a p p r o p r i a t e l a t e r a l a n d r e c o g n i t i o n

c o n n e c t i o n s b e c a u s e t h e y a r e r e l a t e d t o t h e g e n e r a t i v e w e i g h t s i n s u c h a s i m p l e w a y .

1 4


15/25

7 . 5 A r e a s o n f o r t o p o g r a p h i c m a p s

I t i s i n f e a s i b l e t o i n t e r c o n n e c t a l l p a i r s o f u n i t s i n a c o r t i c a l a r e a . I f w e a s s u m e t h a t d i r e c t l a t e r a l

i n t e r a c t i o n s ( o r i n t e r a c t i o n s m e d i a t e d b y i n t e r n e u r o n s ) a r e p r i m a r i l y l o c a l , t h e n w i d e l y s e p a r a t e d

u n i t s w i l l n o t h a v e t h e c o n n e c t i o n s r e q u i r e d f o r e x p l a i n i n g a w a y . C o n s e q u e n t l y t h e c o m p u t a t i o n o f

t h e p o s t e r i o r d i s t r i b u t i o n w i l l b e i n c o r r e c t u n l e s s t h e g e n e r a t i v e w e i g h t v e c t o r s o f w i d e l y s e p a r a t e d

u n i t s a r e o r t h o g o n a l . I f t h e g e n e r a t i v e w e i g h t s a r e c o n s t r a i n e d t o b e p o s i t i v e , t h e o n l y w a y t w o

v e c t o r s c a n b e o r t h o g o n a l i s f o r o n e t o h a v e z e r o s w h e r e t h e o t h e r h a s n o n - z e r o s . I t f o l l o w s t h a t

w i d e l y s e p a r a t e d u n i t s m u s t a t t e n d t o d i e r e n t p a r t s o f t h e i m a g e a n d u n i t s c a n o n l y a t t e n d

t o o v e r l a p p i n g p a t c h e s i f t h e y a r e l a t e r a l l y i n t e r c o n n e c t e d . W e h a v e n o t d e s c r i b e d a m e c h a n i s m

f o r t h e f o r m a t i o n o f t o p o g r a p h i c m a p s , b u t w e h a v e g i v e n a g o o d c o m p u t a t i o n a l r e a s o n f o r t h e i r

e x i s t e n c e .

8 R e s u l t s o n a t o y t a s k

A s i m p l e p r o b l e m t h a t i l l u s t r a t e s t h e n e e d f o r s p a r s e d i s t r i b u t e d r e p r e s e n t a t i o n s i s t h e n o i s y b a r s

p r o b l e m ( H i n t o n e t a l . , 1 9 9 5 ) . C o n s i d e r t h e f o l l o w i n g m u l t i - s t a g e g e n e r a t i v e m o d e l f o r K K

i m a g e s . T h e t o p l e v e l d e c i d e s w i t h e q u a l p r o b a b i l i t i e s w h e t h e r t h e i m a g e w i l l c o n s i s t s o l e l y o f

v e r t i c a l o r h o r i z o n t a l b a r s . G i v e n t h i s c h o i c e , t h e s e c o n d l e v e l d e c i d e s i n d e p e n d e n t l y f o r e a c h o f

t h e K b a r s o f t h e a p p r o p r i a t e o r i e n t a t i o n w h e t h e r i t i s p r e s e n t o r n o t , w i t h a p r o b a b i l i t y o f 0 . 3 o f

b e i n g p r e s e n t . I f a b a r i s p r e s e n t , i t ' s i n t e n s i t y i s d e t e r m i n e d b y a u n i f o r m l y d i s t r i b u t e d r a n d o m

v a r i a b l e . F i n a l l y , i n d e p e n d e n t G a u s s i a n n o i s e i s a d d e d t o e a c h p i x e l i n t h e i m a g e . S a m p l e i m a g e s

g e n e r a t e d f r o m t h i s p r o c e s s a r e s h o w n i n g u r e 7 a .

W e t r a i n e d a t h r e e - l a y e r R G B N c o n s i s t i n g o f 3 6 v i s i b l e u n i t s , 2 4 u n i t s i n t h e r s t h i d d e n l a y e r

a n d 1 u n i t i n t h e s e c o n d h i d d e n l a y e r o n t h e 6 6 b a r s p r o b l e m . W h i l e t h e r e a r e 1 2 6 c o m b i n a t i o n s

o f p o s s i b l e b a r s ( n o t a c c o u n t i n g f o r t h e r e a l - v a l u e d i n t e n s i t i e s a n d G a u s s i a n n o i s e ) , a d i s t r i b u t e d

r e p r e s e n t a t i o n w i t h o n l y 1 2 h i d d e n u n i t s i n t h e r s t l a y e r c a n c a p t u r e t h e p r e s e n c e o r a b s e n c e

o f e a c h b a r . W i t h t h i s r e p r e s e n t a t i o n i n t h e r s t h i d d e n l a y e r , t h e s e c o n d h i d d e n l a y e r c a n t h e n

c a p t u r e h i g h e r - o r d e r s t r u c t u r e b y d e t e c t i n g t h a t v e r t i c a l b a r s a r e c o r r e l a t e d w i t h o t h e r v e r t i c a l

b a r s a n d n o t w i t h h o r i z o n t a l b a r s .

T h e n e t w o r k w a s t r a i n e d f o r 1 0 p a s s e s t h r o u g h a d a t a s e t o f 1 0 0 0 i m a g e s u s i n g a d i e r e n t ,

r a n d o m o r d e r f o r e a c h p a s s . F o r e a c h i m a g e w e u s e d 1 6 i t e r a t i o n s o f G i b b s s a m p l i n g t o a p p r o x i m a t e

t h e p o s t e r i o r d i s t r i b u t i o n o v e r h i d d e n s t a t e s . E a c h i t e r a t i o n c o n s i s t e d o f s a m p l i n g e v e r y h i d d e n

u n i t o n c e i n a x e d o r d e r . T h e s t a t e s o n e v e r y o t h e r i t e r a t i o n w e r e u s e d f o r l e a r n i n g , w i t h a

l e a r n i n g r a t e o f 0 . 1 a n d a w e i g h t d e c a y p a r a m e t e r o f 0 . 0 1 . S i n c e t h e t o p l e v e l o f t h e g e n e r a t i v e

p r o c e s s m a k e s a d i s c r e t e d e c i s i o n b e t w e e n v e r t i c a l a n d h o r i z o n t a l b a r s , w e t r i e d b o t h t h e R G B N

a n d a t r i v i a l e x t e n s i o n o f t h e R G B N i n w h i c h t h e t o p l e v e l u n i t s a t u r a t e s b o t h a t 0 a n d 1 . T h i s

r e s u l t e d i n s l i g h t l y c l e a n e r r e p r e s e n t a t i o n s a t t h e t o p l e v e l . R e s u l t s w e r e r e l a t i v e l y i n s e n s i t i v e t o

o t h e r p a r a m e t r i c c h a n g e s .

A f t e r l e a r n i n g , e a c h o f t h e 1 2 p o s s i b l e b a r s i s r e p r e s e n t e d b y a s e p a r a t e u n i t i n t h e r s t

h i d d e n l a y e r ( g u r e 8 c ) . T h e r e m a i n i n g h i d d e n u n i t s i n t h a t l a y e r a r e k e p t i n a c t i v e t h r o u g h

s t r o n g i n h i b i t o r y b i a s e s ( g u r e 8 b ) . T h e u n i t i n t h e t o p h i d d e n l a y e r s t r o n g l y e x c i t e s t h e v e r t i c a l

b a r u n i t s i n t h e r s t h i d d e n l a y e r , a n d i n h i b i t s t h e h o r i z o n t a l b a r u n i t s . I n d e e d , w h e n p r e s e n t e d

w i t h i m a g e s a n d a l l o w e d t o r a n d o m l y s a m p l e i t s s t a t e s f o r 1 0 G i b b s s a m p l e s , t h e t o p u n i t i s

1 5


16/25

a b

F i g u r e 7 : a ) S a m p l e d a t a f r o m t h e 6 6 n o i s y b a r s p r o b l e m . b ) S a m p l e o u t p u t s g e n e r a t e d b y t h e

m o d e l a f t e r l e a r n i n g .

a c t i v e f o r 8 5 % o f n o v e l i m a g e s c o n t a i n i n g v e r t i c a l b a r s a n d i n a c t i v e f o r 8 9 % o f i m a g e s c o n t a i n i n g

h o r i z o n t a l b a r s . A r a n d o m s a m p l e o f i m a g e s p r o d u c e d b y g e n e r a t i n g f r o m t h e m o d e l a f t e r l e a r n i n g

i s s h o w n i n g u r e 7 b .

A s a c o n t r o l , i t i s i n t e r e s t i n g t o e x a m i n e t h e r e s u l t s p r o d u c e d b y a m i x t u r e o f G a u s s i a n s a n d

a f a c t o r a n a l y z e r t r a i n e d o n t h e s a m e d a t a . A f a c t o r a n a l y z e r w i t h 2 4 h i d d e n u n i t s d i s c o v e r s

g l o b a l f e a t u r e s w i t h b o t h e x c i t a t o r y a n d i n h i b i t o r y c o m p o n e n t s ( g u r e 9 a ) . T h e r e p r e s e n t a t i o n i s

d i s t r i b u t e d , b u t n o t s p a r s e . I n c o n t r a s t , t h e m i x t u r e o f G a u s s i a n s d i s c o v e r s 2 4 g o o d p r o t o t y p e s

f o r t h e i m a g e s ( g u r e 9 b ) . W h i l e s o m e s i n g l e b a r i m a g e s a r e r e p r e s e n t e d i n t h e h i d d e n u n i t s ,

o t h e r s r e p r e s e n t f r e q u e n t c o m b i n a t i o n s o f b a r s . M o r e i m p o r t a n t l y , i n o r d e r t o c a p t u r e a l l 1 2 6

c o m b i n a t i o n s o f p o s s i b l e b a r l o c a t i o n s t h e m i x t u r e o f G a u s s i a n s n e t w o r k w o u l d n e e d 1 2 6 h i d d e n

u n i t s . T h e r e p r e s e n t a t i o n i s s p a r s e b u t n o t d i s t r i b u t e d .

9 D i s c o v e r i n g d e p t h i n s i m p l i e d s t e r e o p a i r s

A n o t h e r p r o b l e m i n w h i c h d i s c o v e r i n g t h e h i g h e r o r d e r s t r u c t u r e o f a d a t a s e t h a s p r e s e n t e d d i -

c u l t i e s f o r s o m e p r e v i o u s u n s u p e r v i s e d l e a r n i n g a l g o r i t h m s i s t h e o n e - d i m e n s i o n a l s t e r e o d i s p a r i t y

p r o b l e m ( B e c k e r a n d H i n t o n , 1 9 9 2 ) . W e t e s t e d t h e R G B N o n a v e r s i o n o f t h i s p r o b l e m w i t h

t h e f o l l o w i n g g e n e r a t i v e p r o c e s s . R a n d o m d o t s o f u n i f o r m l y d i s t r i b u t e d i n t e n s i t i e s a r e s c a t t e r e d

s p a r s e l y o n a o n e - d i m e n s i o n a l s u r f a c e , a n d t h e i m a g e i s b l u r r e d w i t h a G a u s s i a n l t e r . T h i s s u r -

f a c e i s t h e n r a n d o m l y p l a c e d a t o n e o f t w o d i e r e n t d e p t h s , g i v i n g r i s e t o t w o p o s s i b l e l e f t - t o - r i g h t

d i s p a r i t i e s b e t w e e n t h e i m a g e s s e e n b y e a c h e y e . S e p a r a t e G a u s s i a n n o i s e i s t h e n a d d e d t o t h e

i m a g e s e e n b y e a c h e y e . E i g h t e x a m p l e i m a g e s g e n e r a t e d i n t h i s m a n n e r a r e s h o w n i n g u r e 1 0 a .

1 6


17/25

a

b

c

F i g u r e 8 : G e n e r a t i v e w e i g h t s o f a t h r e e - l a y e r e d R G B N a f t e r b e i n g t r a i n e d o n t h e n o i s y b a r s

p r o b l e m . a ) W e i g h t s f r o m t h e t o p l a y e r h i d d e n u n i t t o t h e 2 4 m i d d l e - l a y e r h i d d e n u n i t s . b ) B i a s e s

o f t h e m i d d l e l a y e r h i d d e n u n i t s , a n d c ) w e i g h t s f r o m t h e h i d d e n u n i t s t o t h e 6 6 v i s i b l e a r r a y ,

a r r a n g e d i n t h e s a m e m a n n e r a s i n a ) .

U s i n g t h e v e r y s a m e a r c h i t e c t u r e a n d t r a i n i n g p a r a m e t e r s a s i n t h e p r e v i o u s e x a m p l e , w e

t r a i n e d a n R G B N o n i m a g e s f r o m t h i s s t e r e o d i s p a r i t y p r o b l e m . A s i n t h e p r e v i o u s e x a m p l e , e a c h

o f t h e 2 4 h i d d e n u n i t s i n t h e r s t h i d d e n l a y e r w a s c o n n e c t e d t o t h e e n t i r e a r r a y o f 3 6 v i s i b l e

u n i t s , i . e . i t h a d i n p u t s f r o m b o t h e y e s . T w e l v e o f t h e s e h i d d e n u n i t s l e a r n e d t o b e c o m e l o c a l

l e f t - d i s p a r i t y d e t e c t o r s , w h i l e t h e o t h e r t w e l v e b e c a m e l o c a l r i g h t - d i s p a r i t y d e t e c t o r s ( g u r e 1 1 c ) .

U n l i k e t h e p r e v i o u s p r o b l e m , i n w h i c h t h e r e w e r e t o o m a n y h i d d e n u n i t s f o r t h e p r o b l e m , h e r e

t h e r e w e r e t o o f e w f o r t h e 1 8 p i x e l l o c a t i o n s . T h e u n i t i n t h e s e c o n d h i d d e n l a y e r h a s p o s i t i v e

w e i g h t s c o n n e c t i n g i t t o l e f t w a r d d i s p a r i t y d e t e c t i n g h i d d e n u n i t s i n t h e l a y e r b e l o w , a n d n e g a t i v e

w e i g h t s f o r t h e r i g h t w a r d u n i t s ( g u r e 1 1 a ) . W h e n p r e s e n t e d w i t h n o v e l i n p u t i m a g e s t h e t o p u n i t

i s a c t i v e f o r 8 7 % o f i m a g e s w i t h l e f t w a r d d i s p a r i t y a n d i n a c t i v e f o r 9 1 % o f i m a g e s w i t h r i g h t w a r d

d i s p a r i t y . A r a n d o m s a m p l e o f i m a g e s g e n e r a t e d b y t h e m o d e l a f t e r l e a r n i n g i s s h o w n i n g u r e 1 0 b .

1 0 D i s c u s s i o n

T h e u n i t s u s e d i n a n R G B N h a v e a n u m b e r o f d i e r e n t p r o p e r t i e s a n d i t i s i n t e r e s t i n g t o a s k w h i c h

o f t h e s e p r o p e r t i e s a r e e s s e n t i a l a n d w h i c h a r e a r b i t r a r y . I f w e w a n t t o a c h i e v e n e u r a l p l a u s i b i l i t y

b y u s i n g l a t e r a l i n t e r a c t i o n s t o h a n d l e e x p l a i n i n g a w a y , i t i s e s s e n t i a l t h a t G a u s s i a n n o i s e i s u s e d

t o c o n v e r t ^y

j

i n t o y

j

i n t h e g e n e r a t i v e m o d e l . W i t h o u t t h i s , t h e e x p r e s s i o n f o r E

b e l o w

i n E q . 2 1

w o u l d n o t b e q u a d r a t i c a n d i t w o u l d n o t b e p o s s i b l e t o t a k e t h e s u m m a t i o n o v e r j i n s i d e t h e

s u m m a t i o n o v e r k i n E q . 2 3 .

I n t h e R G B N , t h e r e a r e t w o l i n e a r r e g i m e s . E i t h e r y

+

= y o r y

+

= 0 d e p e n d i n g o n t h e

1 7


18/25

a b

F i g u r e 9 : a ) G e n e r a t i v e w e i g h t s o f a f a c t o r a n a l y z e r w i t h 2 4 h i d d e n u n i t s t r a i n e d o n t h e s a m e

d a t a a s t h e R G B N . b ) G e n e r a t i v e w e i g h t s o f a m i x t u r e o f 2 4 G a u s s i a n s t r a i n e d o n t h e s a m e d a t a .

v a l u e o f y . C l e a r l y , t h e i d e a c a n b e g e n e r a l i z e d t o a n y n u m b e r o f r e g i m e s a n d t h e o n l y c o n s t r a i n t

o n e a c h r e g i m e i s t h a t i t s h o u l d b e l i n e a r s o t h a t e x a c t G i b b s s a m p l i n g i s p o s s i b l e

5

. I f w e u s e

t w o c o n s t a n t r e g i m e s a n d r e p l a c e y

+

b y a b i n a r y o u t p u t s w h i c h i s 1 w h e n y i s p o s i t i v e a n d

0 o t h e r w i s e w e g e t a \ p r o b i t " b e l i e f n e t t h a t i s v e r y s i m i l a r t o t h e l o g i s t i c b e l i e f n e t d e s c r i b e d

i n s e c t i o n 5 b u t h a s t h e a d v a n t a g e t h a t t h e l a t e r a l c o n n e c t i o n t r i c k c a n b e u s e d f o r p e r c e p t u a l

i n f e r e n c e .

P r o b i t u n i t s a n d l i n e a r o r r e c t i e d l i n e a r u n i t s c a n e a s i l y b e c o m b i n e d i n t h e s a m e n e t w o r k

b y m a k i n g t h e o u t p u t o f a u n i t o f o n e t y p e c o n t r i b u t e t o t h e t o p - d o w n e x p e c t a t i o n , ^y o f a u n i t o f

t h e o t h e r t y p e . T h e y c a n a l s o b e c o m b i n e d i n a m o r e i n t e r e s t i n g w a y . T h e d i s c r e t e o u t p u t o f a

p r o b i t u n i t s

i

c a n m u l t i p y t h e o u t p u t o f a l i n e a r u n i t y

j

a n d e x a c t G i b b s s a m p l i n g i s s t i l l f e a s i b l e .

T h i s a l l o w s t h e p r o b i t u n i t t o d e c i d e w h e t h e r y

j

s h o u l d b e u s e d w i t h o u t i n u e n c i n g t h e v a l u e o f

y

j

i f i t i s u s e d . T h i s i s u s e f u l i f , f o r e x a m p l e , y

j

r e p r e s e n t s t h e s i z e o f a n o b j e c t a n d s

i

r e p r e s e n t s

w h e t h e r i t e x i s t s .

I f a p r o b i t u n i t a n d a l i n e a r u n i t s h a r e t h e s a m e y v a l u e t h e i r c o m b i n a t i o n i s e x a c t l y a r e c t i e d

l i n e a r u n i t . I f t h e y m e r e l y s h a r e t h e s a m e ^y v a l u e b u t u s e i n d e p e n d e n t l o c a l n o i s e t o g e t d i e r e n t

y v a l u e s , w e g e t a s o f t e r b l e n d i n g o f t h e l i n e a r a n d t h e c o n s t a n t r e g i m e . I t i s a l s o f e a s i b l e t o

c o m b i n e a g e n e r a l i z a t i o n o f t h e p r o b i t u n i t t h a t u s e s i t s y v a l u e t o d e t e r m i n i s t i c a l l y p i c k o n e o f

m p o s s i b i l i t i e s w i t h a g e n e r a l i z a t i o n o f t h e l i n e a r u n i t t h a t h a s m d i e r e n t l i n e a r r e g i m e s . T h i s i s

a g e n e r a t i v e v e r s i o n o f t h e m i x t u r e o f e x p e r t s m o d e l ( J a c o b s e t a l . , 1 9 9 1 ) .

T h e R G B N i s a p a r t i c u l a r l y i n t e r e s t i n g c a s e b e c a u s e t h e i n n i t e d e n s i t y o f y

+

a t 0 m e a n s

t h a t i t i s v e r y c h e a p , i n c o d i n g t e r m s , f o r u n i t s t o h a v e o u t p u t s o f 0 , s o t h e n e t w o r k d e v e l o p s

s p a r s e r e p r e s e n t a t i o n s . E a c h h i d d e n u n i t c a n b e v i e w e d a s a l i n e a r b a s i s f u n c t i o n f o r r e p r e s e n t i n g

t h e s t a t e s i n t h e l a y e r b e l o w , b u t o n l y a s u b s e t o f t h e s e b a s i s f u n c t i o n s a r e u s e d f o r a g i v e n d a t a

p o i n t . B e c a u s e t h e n e t w o r k c a n s e l e c t w h i c h b a s i s f u n c t i o n s a r e a p p r o p r i a t e f o r t h e d a t a , i t c a n

5

B y u s i n g a f e w l i n e a r r e g i m e s w e c a n c r u d e l y a p p r o x i m a t e u n i t s w h o s e o u t p u t i s a s m o o t h n o n - l i n e a r f u n c t i o n

o f y ( F r e y , 1 9 9 7 ) a n d s t i l l p e r f o r m e x a c t G i b b s s a m p l i n g .

1 8


19/25

a b

F i g u r e 1 0 : a ) S a m p l e d a t a f r o m t h e s i m p l i e d s t e r e o d i s p a r i t y p r o b l e m . T h e t o p a n

Documents

HTM_CLA_CS_Generative Models for Discovering Sparse Distributed Representations (CV NN SDR).pdf