AM FM Image Models

7/27/2019 AM FM Image Models

http://slidepdf.com/reader/full/am-fm-image-models 1/56

A M - F M I m a g e M o d e l s

J o s e p h P . H a v l i c e k

L a b o r a t o r y f o r V i s i o n S y s t e m s

C e n t e r f o r V i s i o n a n d I m a g e S c i e n c e s

T h e U n i v e r s i t y o f T e x a s

A u s t i n , T X 7 8 7 1 2 - 1 0 8 4

U S A

N o v e m b e r 8 , 1 9 9 6



G O A L

M O D E L i m a g e s a s s u m s o f A M - F M f u n c t i o n s :

t m =

K

X

i = 1

a

i

m e x p j '

i

m

:

E S T I M A T E t h e d o m i n a n t i m a g e m o d u l a t i o n s .

C O M P U T E m u l t i - c o m p o n e n t A M - F M i m a g e

r e p r e s e n t a t i o n s .

R E C O V E R t h e e s s e n t i a l i m a g e s t r u c t u r e f r o m t h e

c o m p u t e d r e p r e s e n t a t i o n s .



O U T L I N E

I .

I n t r o d u c t i o n

I I . D e m o d u l a t i o n

I I I . D o m i n a n t C o m p o n e n t A n a l y s i s

I V . M u l t i - C o m p o n e n t A n a l y s i s

V . C o n c l u s i o n s



A M - F M I M A G E M O D E L I N G

I m a g e m o d e l :

t m =

K

X

i = 1

a

i

m e x p j '

i

m

=

K

X

i = 1

t

i

m

E a c h

t

i

m i s a n A M - F M C O M P O N E N T .

M O D U L A T I N G F U N C T I O N S o f

t

i

m :

I

a

i

m : a m p l i t u d e m o d u l a t i o n f u n c t i o n .

I

r '

i

m : f r e q u e n c y m o d u l a t i o n f u n c t i o n .



C O M P A R I S O N T O D F T

D F T r e p r e s e n t s a n

N N i m a g e a s t h e s u m o f

N

2

s i n u s o i d a l c o m p o n e n t s , e a c h h a v i n g

I c o n s t a n t a m p l i t u d e .

I c o n s t a n t f r e q u e n c y .

N o n s t a t i o n a r y s t r u c t u r e r e p r e s e n t e d b y c o n s t r u c -

t i v e a n d d e s t r u c t i v e I N T E R F E R E N C E b e t w e e n

S T A T I O N A R Y c o m p o n e n t s .

T h e m o d u l a t i n g f u n c t i o n s

a

i

m a n d

r '

i

m

a r e p e r m i t t e d t o v a r y s m o o t h l y a c r o s s t h e i m a g e .

E A C H A M - F M c o m p o n e n t i s c a p a b l e o f c a p t u r i n g

S I G N I F I C A N T n o n s t a t i o n a r y s t r u c t u r e .

A M - F M m o d e l c a p t u r e s e s s e n t i a l i m a g e s t r u c t u r e

u s i n g M U C H f e w e r t h a n N

2

c o m p o n e n t s .



1 D B A C K G R O U N D

I n 1 9 7 7 , M o o r e r

I C O M P U T E D m u l t i - c o m p o n e n t A M - F M r e p -

r e s e n t a t i o n s f o r m u s i c a l i n s t r u m e n t s i g n a l s .

I C O D E D t h e r e p r e s e n t a t i o n s a n d a c h i e v e d

c o m p r e s s i o n r a t i o s o f 4 3 : 1 .

I R E C O N S T R U C T E D t h e s i g n a l s f r o m t h e

c o m p u t e d r e p r e s e n t a t i o n s .

I A s s u m e d h a r m o n i c a l l y r e l a t e d c o m p o n e n t s .

1 D T e a g e r - K a i s e r o p e r a t o r i n t r o d u c e d i n 1 9 9 0 .

E n e r g y S e p a r a t i o n A l g o r i t h m E S A d e v e l o p e d b y

M a r a g o s , K a i s e r , & Q u a t i e r i 1 9 9 1 .

I U s e d b y M A N Y p e o p l e f o r A M - F M s p e e c h

m o d e l i n g .



1 D M U L T I - C O M P O N E N T M O D E L S

K u m a r e s a n , S a d a s i v , R a m a l i n g a m , a n d K a i s e r

1 9 9 2 - 9 6 :

I

U s e d T e a g e r - K a i s e r o p e r a t o r a n d m a t r i x

i n v a r i a n c e p r o p e r t i e s .

I P r o b l e m s w i t h K 4

c o m p o n e n t s .

I P r o b l e m s w i t h n 1

d i m e n s i o n s .

L u a n d D o e r s c h u c k 1 9 9 6 .

I U s e d K a l m a n l t e r s .

I 1 D f o r m u l a t i o n .



2 D B A C K G R O U N D

B o v i k , C l a r k , & G e i s l e r c h a r a c t e r i z e d T E X T U R E

a s a C A R R I E R o f r e g i o n i n f o r m a t i o n 1 9 8 6 .

I M O D E L E D t e x t u r e s a s s i n g l e - c o m p o n e n t

A M - F M f u n c t i o n s .

I

S E G M E N T E D t e x t u r e u s i n g a m p l i t u d e a n d

p h a s e o f G a b o r l t e r r e s p o n s e .

B o v i k , e t . a l . , e s t i m a t e d D O M I N A N T m o d u l a t i n g

f u n c t i o n s v i a a n i t e r a t i v e r e l a x a t i o n a l g o r i t h m

1 9 9 2 .

I S E G M E N T E D t e x t u r e s .

I R E C O N S T R U C T E D 3 D s u r f a c e s .

I I t e r a t i o n w a s c o m p u t a t i o n a l l y E X P E N S I V E .



2 D A M - F M M O D E L S

K n u t s s o n , W e s t i n , & G r a n l u n d 1 9 9 4 .

I

U s e d l o g n o r m a l l t e r s .

I

E s t i m a t e d F M f o r a s i n g l e c o m p o n e n t .

F r a n c o s a n d F r i e d l a n d e r 1 9 9 5 - 9 6 .

I P o l y n o m i a l p h a s e m o d e l .

I E s t i m a t e d p o l y n o m i a l o r d e r a n d c o e c i e n t s .

I D e m o n s t r a t e d o n s i m p l e s y n t h e t i c s .



2 D T E A G E R - K A I S E R O P E R A T O R

I n t r o d u c e d b y Y u , M i t r a , & K a i s e r 1 9 9 1 .

2 D E S A : M a r a g o s , B o v i k , & Q u a t i e r i 1 9 9 2 .

I C o m p u t a t i o n a l l y e c i e n t .

I

P r o m i s e d t o r e p l a c e i t e r a t i v e r e l a x a t i o n t e c h -

n i q u e f o r e s t i m a t i n g d o m i n a n t m o d u l a t i o n s .

H a v l i c e k b e g a n w o r k o n t h e p r o b l e m 1 9 9 2 .

T R O U B L E :

I E S A c a n n o t e s t i m a t e S I G N E D f r e q u e n c y .

I S I G N o f f r e q u e n c y i s i m p o r t a n t i n m u l t i - D :

e m b o d i e s O R I E N T A T I O N .

A N E W a p p r o a c h w a s n e e d e d .



S l i d e s H e r e

1 . r e p t i l e

2 . r e p t i l e b a s e b a n d c o m p , c o m p 1

3 . r e p t i l e c o m p 2 , c o m p 3

4 . r e p t i l e

5 . r e p t i l e c o m p 4 , c o m p 5

I l o o k a t h o w f o l d " i s i n F M o f c o m p s 2 , 3 .

A l s o i n A M o f b a s e b a n d a n d c o m p s 4 , 5 .

C o m p 1 i s A M - F M h a r m o n i c o f c o m p 3 .

6 . A l l s i x r e p t i l e c o m p o n e n t s .

7 . r e p t i l e + 6 c o m p r e c o n

8 . r e p t i l e + 4 3 c h a n n e l i z e d c o m p r e c o n



S I G N I F I C A N C E

T h e s e r e s u l t s a r e A M A Z I N G ! !

F I R S T a p p r o a c h t o

I E s t i m a t e m u l t i - D m u l t i - c o m p o n e n t a m p l i t u d e

a n d f r e q u e n c y m o d u l a t i o n s .

I E s t i m a t e m u l t i - D m u l t i - c o m p o n e n t F M w i t h

C O R R E C T s i g n s .

I C o m p u t e m u l t i - c o m p o n e n t A M - F M r e p r e s e n -

t a t i o n s f o r n a t u r a l i m a g e s .

I R e c o n s t r u c t f r o m e s t i m a t e d m o d u l a t i o n s i n

b o t h 1 D & 2 D .



A P P L I C A T I O N S

T e x t u r e - b a s e d s c e n e s e g m e n t a t i o n . B o v i k , C l a r k ,

G e i s l e r ; P o r a t , Z e e v i ; H a v l i c e k , H a r d i n g , B o v i k

P h a s e - b a s e d c o m p u t a t i o n a l s t e r e o p s i s . C h e n ,

B o v i k .

3 - D s h a p e f r o m t e x t u r e . S u p e r , B o v i k ,

K l a r q u i s t .



A P P L I C A T I O N S : : :

S p a t i o - s p e c t r a l a n a l y s i s .

T e x t u r e m o d e l i n g a n d s y n t h e s i s .

F u t u r e :

I

I m a g e c o d i n g .

I

V i d e o c o d i n g .

I M u l t i m e d i a a n d C D - R O M a p p l i c a t i o n s .



O U T L I N E

I . I n t r o d u c t i o n

I I .

D e m o d u l a t i o n






R E A L - V A L U E D I M A G E S

T h e A M - F M m o d e l f o r

t m i s C O M P L E X .

T o a n a l y z e a R E A L - V A L U E D i m a g e

s m , t a k e

t m =

s m +

j H s m

:

H i s t h e 2 D d i s c r e t e H i l b e r t t r a n s f o r m .

t m i s t h e c o m p l e x A N A L Y T I C I M A G E a s s o c i -

a t e d w i t h s m .

I R e t m

= s m .

F t m i s Z E R O i n q u a d r a n t s I I a n d I I I .

G i v e s i n t u i t i v e , p h y s i c a l l y m e a n i n g f u l i n t e r p r e t a -

t i o n s f o r

I i n s t a n t a n e o u s f r e q u e n c y o f s m .

I r s t m o m e n t o f f r e q u e n c y i n s m .



D E M O D U L A T I O N

D e m o d u l a t i o n a l g o r i t h m i s N O N L I N E A R .

C r o s s - c o m p o n e n t i n t e r f e r e n c e i s a P R O B L E M i f

t m i s M U L T I - C O M P O N E N T .

U s e a m u l t i b a n d b a n k o f l i n e a r l t e r s

g

p

m t o

I S O L A T E c o m p o n e n t s o n a P O I N T W I S E b a s i s .

I T h e l t e r s D O N O T n e e d t o i s o l a t e t h e

c o m p o n e n t s o n a G L O B A L s c a l e .

I T h e r e s p o n s e y

p

m o f e a c h l t e r

g

p

m

D O E S n e e d t o b e d o m i n a t e d b y o n l y O N E

c o m p o n e n t a t e a c h i m a g e p i x e l .

S u p p o s e t h a t c o m p o n e n t

t

i

m d o m i n a t e s t h e

r e s p o n s e y

p

m o f l t e r

g

p

m a t p i x e l

m .

G O A L : u s e t h e r e s p o n s e

y

p

m t o e s t i m a t e t h e

v a l u e s o f t h e m o d u l a t i n g f u n c t i o n s a

i

m a n d

r '

i

m a t p i x e l

m .



D E M O D U L A T I O N : : :

D e m o d u l a t i o n a l g o r i t h m d e p e n d s o n a q u a s i -

e i g e n f u n c t i o n a p p r o x i m a t i o n Q E A .

S u p p o s e

G

p

i s a 2 D L S I s y s t e m .

E x a c t r e s p o n s e t o

t

i

m :

y

p

m =

X

p 2 Z

2

g

p

p t

i

m , p :

Q E A :

b

y

p

m =

t

i

m G

p

r '

i

m

:

Q E A e r r o r g e n e r a l l y s m a l l o r n e g l i g i b l e i f

I

g

p

m s p a t i a l l y l o c a l i z e d .

I

a

i

m a n d

r '

i

m a r e s m o o t h l y v a r y i n g , o r

L O C A L L Y C O H E R E N T .



D E M O D U L A T I O N A L G O R I T H M

R e c a l l :

y

p

m =

t m g

p

m

t

i

m g

p

m :

H o r i z o n t a l c o m p o n e n t o f

r

b

'

i

m ; n

:

a r c s i n

"

y

p

m + 1 ; n

, y

p

m , 1 ; n

2 j y

p

m ; n

:

A m p l i t u d e a l g o r i t h m :

b

a

i

m =

y

p

m

G

p

r

b

'

i

m

:



F I L T E R B A N K

P h y s i o l o g y a n d p s y c h o p h y s i c s :

I C H A N N E L S i n v i s u a l c o r t e x o p e r a t e a t 1 8

o r i e n t a t i o n s a n d 4 m a g n i t u d e f r e q u e n c i e s .

I V i s u a l c o r t i c a l c e l l s f u n c t i o n a s 2 D c o m p l e x

G a b o r l t e r s .

F o r A N A L Y T I C i m a g e s

t m , o n l y h a l f o f t h e

o r i e n t a t i o n s n e e d b e c o n s i d e r e d .

2 D G a b o r l t e r s h a v e O P T I M A L s p a t i o - s p e c t r a l

l o c a l i z a t i o n .



F I L T E R B A N K : : :

G a b o r l t e r b a n k :

I F r e q u e n c y r e s p o n s e G

p

! i s G a u s s i a n .

I B a n d w i d t h = 1 O c t a v e .

F i l t e r b a n k c h a n n e l s a t 8 o r i e n t a t i o n s a n d 5

m a g n i t u d e f r e q u e n c i e s .

O n e G a u s s i a n b a s e b a n d c h a n n e l t o c a p t u r e

l o w - f r e q u e n c y s t r u c t u r e .

T w o s p e c i a l H I G H - F R E Q U E N C Y c h a n n e l s .

F r e q u e n c y r e s p o n s e s o f a d j a c e n t l t e r s i n t e r s e c t

a t h a l f - p e a k .

T O T A L n u m b e r o f c h a n n e l s = 4 3 .



S l i d e s H e r e

9 . F i l t e r b a n k i n f r e q u e n c y d o m a i n .



O U T L I N E



I I I .

D o m i n a n t C o m p o n e n t A n a l y s i s





D O M I N A N T C O M P O N E N T A N A L Y S I S

A t e v e r y p i x e l , e s t i m a t e t h e m o d u l a t i n g f u n c t i o n s

o f t h e c o m p o n e n t t h a t D O M I N A T E S t h e l o c a l

f r e q u e n c y s p e c t r u m a t t h a t p i x e l .

T h e d o m i n a n t c o m p o n e n t f r e q u e n c i e s a r e t h e

E M E R G E N T f r e q u e n c i e s w h i c h c h a r a c t e r i z e t h e

l o c a l t e x t u r e s t r u c t u r e .

A t e a c h p i x e l , t h e d o m i n a n t c o m p o n e n t m a x i -

m i z e s

p

m =

j y

p

m j

m a x

!

j G

p

! j

:

A p p l y Q E A :

p

m a

i

m

G

p

r '

i

m

m a x

!

j G

p

! j

:



B L O C K D I A G R A M

t(m)

ESA

ESA

ESA

1

2

G

G

GM

ϕ

ϕ

ϕ

a

a

a

1 / Gmax

1 / Gmax

1 / Gmax

ChannelSelectMax

^

^

^

^

^

^



S l i d e s H e r e

1 0 . T r e e + d o m c o m p r e c o n

1 1 . R a a + d o m c o m p r e c o n

1 2 . B u r l a p + d o m r e c o n



T E X T U R E S E G M E N T A T I O N

A p p l y L o G e d g e d e t e c t o r t o d o m i n a n t

I

F r e q u e n c y m a g n i t u d e s .

I F r e q u e n c y o r i e n t a t i o n s .

I A m p l i t u d e s .

S e g m e n t a l o n g S I G N I F I C A N T z e r o c r o s s i n g s .



S l i d e s H e r e

1 3 . M i c a B u r l a p M a g F r e q + S e g ,

= 1 5 ,

= 1 : 5

P e l l e t B e a n M a g F r e q + S e g ,

= 4 9 , N o

1 4 . W o o d W o o d A r g F r e q + S e g ,

= 1 4 ,

= 1 1

P a p e r B u r l a p A M + S e g ,

= 4 6 : 5

, N o




S p a t i o - s p e c t r a l a n a l y s i s .

I m a g e s e g m e n t a t i o n .

P h a s e - b a s e d s t e r e o C h e n , B o v i k .

3 - D s h a p e f r o m t e x t u r e S u p e r , B o v i k ,

K l a r q u i s t .

B i o l o g i c a l l y f e a s i b l e m o d e l o f m a m m a l i a n v i s u a l

f u n c t i o n .



O U T L I N E




I V .

M u l t i - C o m p o n e n t A n a l y s i s




C O M P U T E D R E P R E S E N T A T I O N S

R e c a l l m o d e l :

t m =

K

X

i = 1

a

i

m e x p j '

i

m

.

G O A L : c o m p u t e a n A M - F M R E P R E S E N T A T I O N

f o r t m

b y e s t i m a t i n g t h e m o d u l a t i n g f u n c t i o n s

o f E A C H c o m p o n e n t .

N O T E : d e c o m p o s i t i o n i n t o c o m p o n e n t s i s N O T

u n i q u e .



C H A N N E L I Z E D C O M P O N E N T S

E s t i m a t e m o d u l a t i n g f u n c t i o n s f o r O N E c o m p o -

n e n t f r o m E A C H l t e r b a n k c h a n n e l .

M - c h a n n e l l t e r b a n k

M - c o m p o n e n t r e p r e s e n -

t a t i o n .

C o n s i s t e n t w i t h b i o l o g i c a l v i s i o n m o d e l s .

G i v e s g o o d r e c o n s t r u c t i o n s .



S l i d e s H e r e

1 5 . r e p t i l e + r e c o n c h a n n e l i z e d c o m p s

1 6 . r a a + r e c o n c h a n n e l i z e d c o m p s

1 7 . t r e e + r e c o n c h a n n e l i z e d c o m p s

1 8 . p e b b l e s + r e c o n c h a n n e l i z e d c o m p s

1 9 . O c e a n C i t y , N J + r e c o n c h a n n e l i z e d c o m p s

2 0 . C e l e b r i t y + r e c o n c h a n n e l i z e d c o m p s



C H A N N E L I Z E D C O M P O N E N T S : : :

N O T E F F I C I E N T :

I M a n y i m a g e s h a v e F E W E R t h a n M

c o m p o -

n e n t s .

I O f t e n , m a n y c o m p o n e n t s a r e n e a r l y z e r o o v e r

l a r g e r e g i o n s .

I

S i n g l e e l e m e n t s o f t h e i m a g e s t r u c t u r e t e n d

t o b e m a n i f e s t i n m o r e t h a n o n e c h a n n e l i z e d

c o m p o n e n t .

S H O U L D b e a b l e t o g e t B E T T E R r e s u l t s w i t h

F E W E R c o m p o n e n t s .



I M P R O V E D R E P R E S E N T A T I O N S

R e c a l l m o d e l :

t m =

K

X

i = 1

a

i

m e x p j '

i

m

.

G O A L 1 : c o m p u t e a n A M - F M R E P R E S E N T A -

T I O N f o r t m

b y e s t i m a t i n g t h e m o d u l a t i n g

f u n c t i o n s o f E A C H c o m p o n e n t .

G O A L 2 : u s e f e w e r t h a n

M c o m p o n e n t s .

A t e a c h p i x e l , m u s t d e t e r m i n e

I H o w m a n y c o m p o n e n t s a r e p r e s e n t .

I W h i c h l t e r b a n k c h a n n e l t o u s e f o r e s t i m a t i n g

t h e m o d u l a t i n g f u n c t i o n s o f e a c h c o m p o n e n t .



M U L T I P L E C O M P O N E N T S

O r d e r t h e i m a g e p i x e l s w i t h a p a t h f u n c t i o n

P : m 7, !

k .

T r a v e r s e p i x e l s i n o r d e r i n i m a g e .

T h e n

r '

i

k m a p s o u t a p a t h f o r E A C H c o m p o -

n e n t :

S p a c e F r e q u e n c y



T R A C K P R O C E S S O R

E x p a n d m o d u l a t i n g f u n c t i o n s o f

t

i

m i n T a y l o r

s e r i e s t o o b t a i n a c a n o n i c a l s t a t e - s p a c e m o d e l .

M o d e l h i g h e r - o r d e r d e r i v a t i v e s o f m o d u l a t i n g

f u n c t i o n s A N D e r r o r s i n

b

a

i

m a n d

r

b

'

i

m a s

S T O C H A S T I C P R O C E S S E S .

U s e a K a l m a n l t e r t o t r a c k t h e m o d u l a t i n g

f u n c t i o n s o f e a c h c o m p o n e n t a c r o s s t h e l t e r b a n k

c h a n n e l r e s p o n s e s .

I I N P U T S t h e e s t i m a t e d m o d u l a t i n g f u n c t i o n s

c o m p u t e d f r o m t h e C H A N N E L r e s p o n s e s .

I P R E D I C T S w h i c h c h a n n e l s h o u l d b e u s e d f o r

e s t i m a t i n g t h e m o d u l a t i n g f u n c t i o n s o f e a c h

c o m p o n e n t .

I O U T P U T S e s t i m a t e d m o d u l a t i n g f u n c t i o n s

f o r e a c h C O M P O N E N T .



B L O C K D I A G R A M

ϕ

ϕ

ϕ

ϕ

ϕ

ϕ

ϕ

t(m)Track

Processor

ESA

ESA

3 ESA

ESA

1

2

a

a

a

a

a

aK

1a

2

G

G

G

MG

1

2

K

^

^

^

^

^

^

^

^

~

~

~

~

~

~



T H E N E E D F O R P O S T F I L T E R I N G

P R O B L E M : i m a g e p h a s e d i s c o n t i n u i t i e s c a u s e

I A b r u p t , l a r g e - s c a l e e x c u r s i o n s i n r '

i

m .

I N o n t r i v i a l Q E A e r r o r s .

I A b s u r d a m p l i t u d e e s t i m a t e s .

F r e q u e n c y e x c u r s i o n s c a n b e U N B O U N D E D .

I f t h e t r a c k p r o c e s s o r f o l l o w s a f r e q u e n c y e x c u r -

s i o n i n t

i

m , i t

I R a p i d l y u p d a t e s f r o m M A N Y c h a n n e l s .

I O f t e n u p d a t e s f r o m a c h a n n e l t h a t i s d o m i -

n a t e d b y a n o t h e r c o m p o n e n t .

I T h e t r a c k o f t

i

m i s t h e n l o s t .



E X A M P L E P H A S E D I S C O N T I N U I T Y

I n p u t : 1 D c o s i n e , f r e q u e n c y - 0 . 3 c y c l e s s a m p l e .

P h a s e d i s c o n t i n u i t y o f

r a d i a n s a t k = 2 5 6 .

f k i s e s t i m a t e d f r e q u e n c y 1 D .

O c t a v e l t e r s w i t h c e n t e r f r e q u e n c i e s o f 0 . 2 1 7 ,

0 . 3 0 6 c y c l e s s a m p l e

0 256 512-0.5

-0.4

-0.3

-0.2

-0.10.0

f ( k )

0 256 512-0.5

-0.4

-0.3

-0.2

-0.1

0.0

f ( k )

240 248 256 264 272-1.5

-1.0-0.50.00.51.01.5

t ( k )



P O S T F I L T E R S

N a t u r a l i m a g e s a r e e x p e c t e d t o c o n t a i n p h a s e

d i s c o n t i n u i t i e s :

I O c c l u s i o n s .

I S u r f a c e d i s c o n t i n u i t i e s , d e f e c t s , d e f o r m a t i o n s .

I S h a d o w s a n d s p e c u l a r i t i e s .

I N o i s e .

S O L U T I O N : P o s t - p r o c e s s t h e e s t i m a t e d m o d u l a t -

i n g f u n c t i o n s d e l i v e r e d b y g

p

m w i t h a l o w - p a s s

G a u s s i a n s m o o t h i n g l t e r P

p

! .

P o s t l t e r e d c h a n n e l m o d e l :

AMP

FREQALG

ALG p a

ϕ^

t(m) Gp Pp

P



S l i d e s H e r e

2 1 . r e p t i l e + r e c o n b a s e b a n d + 5 t r a c k e d c o m p s

2 2 . s t r a w + r e c o n b a s e b a n d + 8 t r a c k e d c o m p s

2 3 . r e c o n s o f 2 t r a c k e d s t r a w c o m p s

2 4 . r e c o n s o f 2 t r a c k e d s t r a w c o m p s

2 5 . p e l l e t s + r e c o n b a s e b a n d + 1 2 t r a c k e d

c o m p s

2 6 . r e c o n s o f 2 t r a c k e d p e l l e t s c o m p s

2 7 . r e c o n s o f 2 t r a c k e d p e l l e t s c o m p s

2 8 . b u r l a p + r e c o n b a s e b a n d + 8 t r a c k e d c o m p s

2 9 . r e c o n s o f 2 t r a c k e d b u r l a p c o m p s

3 0 . r a a + r e c o n b a s e b a n d + 8 t r a c k e d c o m p s

3 1 . i c e + r e c o n b a s e b a n d + 1 2 t r a c k e d c o m p s




N o n s t a t i o n a r y s p a t i o - s p e c t r a l a n a l y s i s .

I m a g e a n d v i d e o c o d i n g .

C u r r e n t t r a c k p r o c e s s o r h a s d i c u l t y w i t h

I

R e g i o n a l l y s u p p o r t e d s t r u c t u r e

I i m a g e s c o n t a i n i n g m u l t i p l e t e x t u r e d o b j e c t s .

I n v e s t i g a t i o n o f I M P R O V E D t r a c k i n g a p p r o a c h e s

i s o n g o i n g .



O U T L I N E





V .

C o n c l u s i o n s



C O N T R I B U T I O N

D e v e l o p e d a N E W t h e o r y o f m u l t i d i m e n s i o n a l

A M - F M s i g n a l m o d e l i n g .

I A p p l i c a b l e i n A R B I T R A R Y d i m e n s i o n s .

I C o n t i n u o u s A N D d i s c r e t e t h e o r i e s .

F I R S T t o :

I e s t i m a t e m u l t i - D m u l t i - c o m p o n e n t A M - F M .

I e s t i m a t e m u l t i - D F M w i t h C O R R E C T s i g n s .

I c o m p r e h e n s i v e l y t r e a t m u l t i - D a n a l y t i c s i g n a l .

I t r e a t m u l t i - D Q E A t h e o r y .

D e v e l o p e d t w o c o m p u t a t i o n a l p a r a d i g m s i n 2 D .

F I R S T t o :

I c o m p u t e m u l t i - c o m p o n e n t A M - F M r e p r e s e n -

t a t i o n s f o r n a t u r a l i m a g e s .

I

r e c o n s t r u c t f r o m e s t i m a t e d m o d u l a t i o n s i n

b o t h 1 D & 2 D .



C O N C L U S I O N S

E s t i m a t e d d o m i n a n t i m a g e m o d u l a t i o n s .

C o m p u t e d A M - F M r e p r e s e n t a t i o n s .

R e c o n s t r u c t e d f r o m t h e r e p r e s e n t a t i o n s .

U S E F U L i n P R A C T I C A L e n g i n e e r i n g s y s t e m s :

I T e x t u r e s e g m e n t a t i o n .

I P h a s e b a s e d c o m p u t a t i o n a l s t e r e o p s i s .

I 3 D s h a p e f r o m t e x t u r e .

I S p a t i o - s p e c t r a l a n a l y s i s .

F u t u r e w o r k :

I I m p r o v e d t r a c k i n g a p p r o a c h e s .

I C o l o r i m a g e s .

I V i d e o a n d c o l o r v i d e o .

I I m a g e a n d v i d e o c o d i n g .



M O D E L A M B I G U I T I E S

S u p p o s e

s m i s a r e a l - v a l u e d i m a g e .

R e a l m o d e l :

s m =

a m c o s

' m

.

I T a k e

a

1

m =

s m a x = s u p

m

j s m j

'

1

m = a r c c o s

s m = s

m a x

a

2

m =

j s m j

'

2

m = a r c c o s s g n

s m

I T h e n ,

s m =

a

1

m c o s

'

1

m

= a

2

m c o s

'

2

m

:

T h e d e c o m p o s i t i o n i n t o c o m p o n e n t s a l s o i s N O T

u n i q u e .



Q E A E R R O R

T h e E R R O R i n t h e Q E A i s

" m =

j y

p

m ,

b

y

p

m j :

W r i t e a v e c t o r c o m p o n e n t - w i s e u s i n g a n g l e

b r a c k e t s : m

= m

1

m

2

: : : m

n

T

= h m

k

i

k

.

L e t

a

m a x

= s u p

m 2 Z

n

a

i

m .

T h e n

" m

j j g

p

j j

1

, j g

p

0 j

L

1

a

i

+ a

m a x

D

k

g

p

E

T

k

D

S

1

k

'

i

E

k

:

P r o v i d e s a u n i f o r m g l o b a l b o u n d o n t h e e r r o r .

T h e f u n c t i o n a l s

L

1

a

i

a n d

S

1

k

'

i

q u a n t i f y t h e

G L O B A L S M O O T H N E S S o f t

i

m .

T h e f u n c t i o n a l s j j

g

p

j j

1

a n d

k

g

p

q u a n t i f y t h e

S P R E A D , o r L O C A L I Z A T I O N , o f g

p

m .



E R R O R B O U N D F U N C T I O N A L S

L e t

P

m

d e n o t e t h e s e t o f v e c t o r - v a l u e d p a t h s

s t h r o u g h

R

n

s u c h t h a t E A C H c o m p o n e n t o f

s i s a p o l y n o m i a l i n

s o f d e g r e e

m o r l e s s .

T h e n t h e f u n c t i o n a l

L

1

a

i

m a y b e e x p r e s s e d a s

L

1

a

i

= s u p

2

P

1

Z

r a

i

x d x

:



E R R O R B O U N D F U N C T I O N A L S : : :

L e t

'

i ; x

k

x =

@

@ x

k

'

i

x .

T h e n

S

1

k

'

i

= s u p

2

P

1

Z

j r '

i ; x

k

x j d s :

I n t h e

n - d i m e n s i o n a l d i s c r e t e

q

- s p a c e , j j g

p

j j

q

i s

t h e u s u a l n o r m o f g

p

w i t h r e s p e c t t o t h e c o u n t i n g

m e a s u r e :

j j g

p

j j

q

=

8

:

X

m 2 Z

n

j g

p

m j

q

9

=

;

1

q

:

W h e n

q = 1

, j j

g

p

j j

q

i s t h e a b s o l u t e s u m o f

g

p

m .



E R R O R B O U N D F U N C T I O N A L S : : :

G e n e r a l i z e d e n e r g y m o m e n t f u n c t i o n a l

k

g

p

:

k

g

p

=

X

m 2 Z

n

m e

T

k

m

j g

p

m j ;

I e

k

: u n i t v e c t o r i n x

k

d i r e c t i o n .

I N o t e :

m e

T

k

m

= j m

k

j j m j .



U N F I L T E R E D D E M O D U L A T I O N

A m p l i t u d e :

a

i

m =

j t

i

m j .

L e t

e

1

b e a h o r i z o n t a l u n i t v e c t o r a n d e

2

b e a

v e r t i c a l u n i t v e c t o r .

L e t

k = 1 o r

k = 2

.

T h e n ,

e

T

k

r '

i

m i s o n e c o m p o n e n t o f

r '

i

m .

L e t

h

k

m =

m + n

1

e

k

+ q m + n

2

e

k

.

L e t

n

1

= 1 a n d n

2

= q = , 1 . A p p l y Q E A :

e

T

k

r

b

'

i

m = a r c s i n

"

t

i

m + e

k

, t

i

m , e

k

2 j t

i

m

L e t

n

1

= q = 1 a n d

n

2

= , 1 . A p p l y Q E A :

e

T

k

r

b

'

i

m = a r c c o s

"

t

i

m + e

k

+ t

i

m , e

k

2 t

i

m

T o g e t h e r , t h e s e a l g o r i t h m s p l a c e t h e e s t i m a t e d

f r e q u e n c i e s t o w i t h i n 2

r a d i a n s .



S T A T E - S P A C E M O D E L

L e t

d e n o t e c o n t i n u o u s a r c l e n g t h a l o n g

P .

R e s t r i c t t h e d e r i v a t i v e s o f t h e m o d u l a t i n g f u n c -

t i o n s o f t

i

t o t h e 1 D l a t t i c e :

a

0

i

k =

@

@ k

a

i

k =

@

@

a

i

= k

E x p a n d t h e m o d u l a t i n g f u n c t i o n s i n r s t - o r d e r

T a y l o r s e r i e s , e . g .

a

i

k + 1 =

a

i

k +

a

0

i

k

+

Z

k + 1

k

k + 1

, a

0 0

i

d :

E x p a n d t h e d e r i v a t i v e s o f t h e m o d u l a t i n g f u n c -

t i o n s i n z e r o t h - o r d e r T a y l o r s e r i e s , e . g .

a

0

i

k + 1 =

a

0

i

k +

Z

k + 1

k

a

0 0

i

d :



S T A T E - S P A C E M O D E L : : :

C o n s i d e r

a

i

x a n d

'

i

x t o b e h o m o g e n e o u s ,

m . s . d i e r e n t i a b l e r a n d o m e l d s ; l e t '

i

x b e

q u a d r a n t s y m m e t r i c .

M o d e l t h e s i x T a y l o r s e r i e s i n t e g r a l s w i t h s i x

n o i s e p r o c e s s e s | u

a

k , u

'

x

k , u

'

y

k ;

a

k ,

'

x

k ,

'

y

k | c a l l e d M o d u l a t i o n A c c e l e r -

a t i o n s o r M A ' s l o c a l a v e r a g e s o f m o d u l a t i n g

f u n c t i o n s e c o n d d e r i v a t i v e s .

M o d e l e r r o r s i n l t e r e d d e m o d u l a t i o n a l g o r i t h m

w i t h u n c o r r e l a t e d M e a s u r e m e n t N o i s e s M N ' s

n

a

k , n

'

x

k , a n d

n

'

y

k .



S T A T E - S P A C E M O D E L : : :

R e a r r a n g e t h e s i x T a y l o r s e r i e s a n d w r i t e t o g e t h e r

t o o b t a i n t h e s t a t i s t i c a l s t a t e - s p a c e c o m p o n e n t

m o d e l

2

6

6

6

6

6

6

6

4

a

i

k + 1

a

0

i

k + 1

'

x

i

k + 1

'

x 0

i

k + 1

'

y

i

k + 1

'

y 0

i

k + 1

3

7

7

7

7

7

7

7

5

=

2

6

6

6

6

6

6

6

4

1 1 0 0 0 0

0 1 0 0 0 0

0 0 1 1 0 0

0 0 0 1 0 0

0 0 0 0 1 1

0 0 0 0 0 1

3

7

7

7

7

7

7

7

5

2

6

6

6

6

6

6

6

4

a

i

k

a

0

i

k

'

x

i

k

'

x 0

i

k

'

y

i

k

'

y 0

i

k

3

7

7

7

7

7

7

7

5

+

2

6

6

6

6

6

6

6

4

u

a

k

a

k

u

'

x

k

'

x

k

u

'

y

k

'

y

k

Y

k =

2

6

4

a

i

k

'

x

i

k

'

y

i

k

3

7

5

O b s e r v a t i o n e q u a t i o n :

2

6

4

b a k

c

'

x

k

c

'

y

k

3

7

5

=

2

6

4

a

i

k

'

x

i

k

'

y

i

k

3

7

5

+

2

6

4

n

a

k

n

'

x

k

n

'

y

k

3

7

5



P A T H F U N C T I O N

T h e T R A C K P R O C E S S O R p r o c e s s e s i m a g e p i x e l s

i n t h e o r d e r s p e c i e d b y P :

Documents

AM FM Image Models