Petr Veverka - Infinite Time Maximum Principle

8/6/2019 Petr Veverka - Infinite Time Maximum Principle

1/15

I n n i t e h o r i z o n m a x i m u m p r i n c i p l e f o r t h e d i s -

c o u n t e d c o n t r o l p r o b l e m

P e t r V e v e r k a

2 n d y e a r o f P G S , e m a i l : v e v e r p e 2 @ f j f i . c v u t . c z

D e p a r t m e n t o f M a t h e m a t i c s , F a c u l t y o f N u c l e a r S c i e n c e s a n d P h y s i c a l

E n g i n e e r i n g , C T U

a d v i s o r : P r o f . R N D r . B o h d a n M a s l o w s k i , D r S c . ,

A b s t r a c t .

I n t h i s a r t i c l e , t h e p r o o f o f P o n t r y a g i n ' s m a x i m u m p r i n c i p l e f o r i n n i t e h o r i z o n

d i s c o u n t e d s t o c h a s t i c c o n t r o l p r o b l e m i s g i v e n . A s u c i e n t v e r s i o n o f t h e m a x i m u m p r i n c i p l e i s

c o n s i d e r e d , i . e . t h e m a x i m a l i t y a n d c o n c a v i t y o f t h e a s s o c i a t e d H a m i l t o n i a n f u n c t i o n i s a s s u m e d .

T h e c r u c i a l m e t h o d u s e d i s t h e a p p r o x i m a t i o n o f t h e ( i n n i t e h o r i z o n ) b a c k w a r d a d j o i n t p r o c e s s .

F i n a l l y , s o m e b a s i c e x a m p l e s f r o m n a n c e a r e g i v e n t o s h o w t h e u s a g e o f t h e m a x i m u m p r i n c i p l e .

A b s t r a k t .

V t o m t o l n k u j e u v e d e n d k a z P o n t r y a g i n o v a p r i n c i p u m a x i m a p r o d i s k o n t o v a n o u

l o h u z e n . V t a j e v y s l o v e n a v e s m y s l u p o s t a u j c p o d m n k y p r o o p t i m l n z e n , t j . p r o

H a m i l t o n o v u f u n k c i j e p e d p o k l d n a k o n k a v i t a a p l a t n o s t p o d m n k y m a x i m a l i t y . K l o v k r o k

v d k a z u j e a p r o x i m a c e e e n z p t n ( s d r u e n ) s t o c h a s t i c k d i f e r e n c i l n r o v n i c e . N a z v r j s o u

u v e d e n y p k l a d y u i t d o k z a n h o p r i n c i p u m a x i m a p r o t y p o v p k l a d y z o b l a s t i o p t i m l n h o

i n v e s t o v n a s t o c h a s t i c k c h n a n c .

1 I n t r o d u c t i o n

A t p r e s e n t , t h e e l d o f s t o c h a s t i c c o n t r o l i s w i d e l y u s e d i n m a n y s p h e r e s o f r e a l l i f e w h e r e ,

i n a n y f o r m , o p t i m a l p e r f o r m a n c e s a r e d e s i r e d . I m p o r t a n t e x a m p l e s o f i t s a p p l i c a b i l i t y

c o m e f r o m d o m a i n s s u c h a s n a n c i a l m a t h e m a t i c s ( m a n a g i n g n a n c i a l p o r t f o l i o s , h e d g i n g

t a s k s , d e n i n g i n v e s t m e n t s s t r a t e g i e s e t c . ) , h a r v e s t i n g o f r o w m a t e r i a l s ( n d i n g o p t i m a l

h a r v e s t i n g s c e n a r i o s w i t h r e s p e c t t o c u r r e n t m a r k e t p r i c e o f t h e c o m m o d i t y ) , e n g i n e e r i n g

( v i b r a t i o n a b s o r b i n g ; o p t i m a l r e g u l a t i o n o f t e m p e r a t u r e , p o w e r e t c . ) a n d m a n y o t h e r s .

T h i s s h o w s h o w i m p o r t a n t i t i s t o i n v e s t i g a t e t h e p o s s i b i l i t i e s o f m a t h e m a t i c a l d e s c r i p t i o n

o f t h e p r o b l e m i n q u e s t i o n , n d i n g o p t i m a l c o n t r o l t o t h e p r o b l e m ( i f i t i s p o s s i b l e ) o r

a p p r o x i m a t i n g t h e o p t i m a l s o l u t i o n i f t h e o p t i m u m i s n o t e a s y t o n d , a n d , o f c o u r s e , i n

t h a t c a s e , e v a l u a t i n g t h e e r r o r o f u s i n g t h i s a p p r o x i m a t e s o l u t i o n .

I n t h i s p a p e r , t h e d i s c o u n t e d s t o c h a s t i c c o n t r o l p r o b l e m i s c o n s i d e r e d . T h i s k i n d o f

p r o b l e m i s v e r y p o p u l a r a n d p l e n t i f u l l y u s e d i n t h e d o m a i n o f s t o c h a s t i c n a n c e s i n c e i t

l e a d s t o m a x i m i z i n g t h e a v e r a g e d i s c o u n t e d a g e n t ' s u t i l i t y . T h e a p p r o a c h t o t h e s o l u t i o n

h e r e i s t h e m a x i m u m p r i n c i p l e w h i c h , i n d e t e r m i n i s t i c s e t t i n g , w a s f o r m u l a t e d i n 1 9 5 0 s

b y t h e g r o u p o f L . S . P o n t r y a g i n . F o r d i u s i o n s , t h e m a x i m u m p r i n c i p l e h a s b e e n s t u d i e d

b y m a n y r e s e a r c h e r s . T h e e a r l i e s t v e r s i o n s o f a m a x i m u m p r i n c i p l e f o r s u c h p r o c e s s w e r e

g i v e n b y K u s h n e r [ 6 ] a n d B i s m u t [ 7 ] . F u r t h e r p r o g r e s s o n t h e s u b j e c t w a s s u b s e q u e n t l y

T h e r e s u l t o f t h i s p a p e r w a s m a d e w i t h i n m y P h D . s t u d y p r o g r a m m e a t F a c u l t y o f N u c l e a r S c i e n c e s

a n d P h y s i c a l E n g i n e e r i n g , C z e c h T e c h n i c a l U n i v e r s i t y i n P r a g u e .

1


2/15

2 2 P R E L I M I N A R I E S

m a d e b y B e n s o u s s a n [ 8 ] , P e n g [ 9 ] , a n d C a d e n i l l a s a n d H a u s s m a n n [ 1 0 ] . O r i g i n a l l y , t h e

m a i n t e c h n i c a l t o o l u s e d w h e n c o n s i d e r i n g m a x i m u m p r i n c i p l e w a s t h e c a l c u l u s o f v a r i a t i -

o n s w h i c h w a s n o t e a s y t o a p p l y t o r e a l e x a m p l e s a n d w a s d i c u l t t o s i m u l a t e . T h i s w a s

t h e r e a s o n w h y t h e a p p r o a c h v i a m a x i m u m p r i n c i p l e w a s r a t h e r t h e o r e t i c a l a n d d i s c o m -

t e d b y t h e d y n a m i c p r o g r a m m i n g a p p r o a c h . T h e t u r n i n g p o i n t w h i c h l e d t o i t s i n t e n s i v e

s t u d y w a s t h e p a p e r [ 4 ] b y P a r d o u x a n d P e n g w h o f o r m u l a t e d t h e g e n e r a l p r o b l e m o f

B S D E a n d p r o v e d t h e e x i s t e n c e a n d u n i q u e n e s s t h e o r e m s . B S D E ' s p r o v i d e a n e l e g a n t

a n d e a s y - t o - h a n d l e t o o l t o d e s c r i b e t h e a d j o i n t ( s h a d o w p r i c e ) p r o c e s s e s t o t h e c o n t r o l

p r o b l e m a n d t o f o r m u l a t e t h e m a x i m u m p r i n c i p l e u s i n g t h e H a m i l t o n i a n f u n c t i o n . F o r

d i u s i o n s w i t h j u m p s , a n e c e s s a r y m a x i m u m p r i n c i p l e o n t h e n i t e t i m e h o r i z o n w a s

f o r m u l a t e d b y T a n g a n d L i [ 1 1 ] w h e r e a s s u c i e n t o p t i m a l i t y c o n d i t i o n s o n n i t e t i m e

h o r i z o n w e r e s p e c i e d b y k s e n d a l , S u l e m a n d F r a m s t a d [ 1 ] .

T h e p a p e r i s o r g a n i z e d a s f o l l o w s : i n t h e s e c o n d s e c t i o n , s o m e k n o w n r e s u l t s o n F B -

S D E w i t h i n n i t e h o r i z o n a n d s t o c h a s t i c c o n t r o l w i t h n i t e h o r i z o n a r e p r o v i d e d . T h e

f o r m u l a t i o n o f t h e d i s c o u n t e d p r o b l e m i s i n t h e t h i r d s e c t i o n . F o u r t h s e c t i o n c o n t a i n s

t h e m a i n r e s u l t o f t h e p a p e r - t h e f o r m u l a t i o n a n d p r o o f o f t h e s u c i e n t i n n i t e t i m e

m a x i m u m p r i n c i p l e f o r t h e d i s c o u n t e d p r o b l e m . T h e l a s t s e c t i o n g i v e s s o m e e x a m p l e s

f r o m n a n c e .

2 P r e l i m i n a r i e s

2 . 1 B a s i c n o t a t i o n

W e a r e g i v e n a b a s i c p r o b a b i l i t y s p a c e

,F,P

,Rd

- v a l u e d s t a n d a r d W i e n e r p r o c e s s

W =

Wtt0

. L e t

FWt

t0

b e t h e c a n o n i c a l l t r a t i o n o f W

, i . e . FWt =

Ws; s t

,

a n d

Ft

t0

b e i t s U C c o m p l e t i o n . W e d e n o t e F =

t0Ft F. F u r t h e r , w e s i m p l i f y

t h e n o t a t i o n P - a . s . j u s t t o a . s .

2 . 2 S o m e k n o w n r e s u l t s o n F B S D E i n i n n i t e t i m e h o r i z o n

W h e n a p p l y i n g t h e m a x i m u m p r i n c i p l e t o s t o c h a s t i c c o n t r o l p r o b l e m s , t h e c l a s s o f F o r w a r d -

B a c k w a r d S t o c h a s t i c D i e r e n t i a l E q u a t i o n s ( F B S D E i n s h o r t ) n a t u r a l l y a r i s e s i n f o r m o f

a c o u p l e d s y s t e m o f t h e s t a t e ( f o r w a r d ) e q u a t i o n f o r t h e c o n t r o l l e d d i u s i o n a n d t h e d u a l

( b a c k w a r d ) e q u a t i o n f o r g e n e r a l i z e d L a g r a n g e m u l t i p l i c a t o r s a s i t w i l l b e s e e n l a t e r i n

t h e p a p e r . F o r t h a t r e a s o n w e p r e s e n t h e r e s o m e i m p o r t a n t r e s u l t s o n F B S D E ( w i t h o u t

t h e c o n t r o l p r o c e s s ) i n i n n i t e t i m e h o r i z o n w h i c h c a n b e f o u n d i n [ 5 ] .


3/15

2 . 2 S o m e k n o w n r e s u l t s o n F B S D E i n i n n i t e t i m e h o r i z o n 3

L e t u s c o n s i d e r t h e f o l l o w i n g f u l l y c o u p l e d s y s t e m o f e q u a t i o n s

dXt = b(t, Xt, ut, Yt, Zt, )dt + (t, Xt, ut, Yt, Zt, )dWt, t 0 a.s. ( 2 . 1 )

X0 = x Rn,

Yt =

+t

h(s, Xs, us, Ys, Zs)ds

+t

ZsdWs, t 0, a.s.

( 2 . 2 )

w h e r e U Rk, U c l o s e d , b, h : R+ R

n U Rn Rnd Rn , : R+ Rn

URn Rnd Rnda r e c o n t i n u o u s i n v a r i a b l e s

(x,y ,z)I n t h e l a t t e r w e o m i t t h e

n o t a t i o n o f t h e d e p e n d e n c e o n

. F u r t h e r w e m a k e t h e f o l l o w i n g a s s u m p t i o n s

( H 1 ) b(, x , u , y , z), h(, x , u , y , z)

a n d(, x , u , y , z)

a r e(Ft)- p r o g r e s s i v e l y m e a s u r a b l e

r a n d o m p r o c e s s e s f o r a l l (x,u,y ,z) Rn U Rn Rnd .

( H 2 ) F o r a n y t,x,x1, x2, u , y , y1, y2 a n d z , t h e r e e x i s t 1, 2 R s u c h t h a t a . s .

x1 x2, b(t, x1, u , y , z) b(t, x2, u , y , z) 1||x1 x2||2,

( 2 . 3 )

y1 y2, h(t,x,u,y1, z) h(t,x,u,y2, z) 2||y1 y2||2,

( 2 . 4 )

( H 3 ) F o r a n y t,x,x1, x2, u , y , y1, y2, z1, z2 t h e r e e x i s t k, ki, ci 0, i = 1, 2 s u c h t h a t a . s . ||b(t,x,u,y1, z1) b(t,x,u,y2, z2)|| k1||y1 y2|| + k2||z1 z2||, ( 2 . 5 )

||h(t, x1, u , y , z1) h(t, x2, u , y , z2)|| c1||x1 x2|| + c2||z1 z2||, ( 2 . 6 )

||b(t,x,u, 0, 0)|| ||b(t, 0, u, 0, 0)|| + k(1 + ||x||),( 2 . 7 )

||h(t, 0,u,y , 0)|| ||h(t, 0, u, 0, 0)|| + (||y||),( 2 . 8 )

w h e r e : R+ R+ i s a c o n t i n u o u s i n c r e a s i n g f u n c t i o n .

( H 4 ) F o r a n y t, xi, u , yi, zi, i = 1, 2 t h e r e e x i s t k3, k4, k5 0 s u c h t h a t a . s .

||

(t, x

1, u , y

1, z

1)

(t, x

2, u , y

2, z

2)||

2

k3||

x1

x2||

2

+k2||

y1

y2||

2

+k5||

z1

z2||

2.

( 2 . 9 )

( H 5 ) T h e r e e x i s t c o n s t a n t s R, 1, 2 > 0 s u c h t h a t

22 + 4c21 + 2c

22 + 1 < < 21 k3 k11 k22 (k1

11 + k4) (k2

12 + k5),

( 2 . 1 0 )

E+0 e

t||b(t, 0, ut, 0, 0)||

2

+ ||(t, 0, ut, 0, 0)||2

+ ||h(t, 0, ut, 0, 0)||2

dt < +.( 2 . 1 1 )


4/15

4 2 P R E L I M I N A R I E S

D e n i t i o n 1 : A t r i p l e o f

Ft - a d a p t e d p r o c e s s e s (Xt, Yt, Zt)t0 i s c a l l e d a n a d a p t e d s o l u - t i o n t o F B S D E ( 2 . 1 ) i f t h e f o l l o w i n g h o l d s :

Xt = x +

t0

b(s, Xs, us, Ys, Zs)ds +

t0

(s, Xs, us, Ys, Zs)dWs, t 0, a.s. ( 2 . 1 2 )

Yt =

+t

h(s, Xs, us, Ys, Zs)ds

+t

ZsdWs, t 0, a.s. ( 2 . 1 3 )

E

+0

et

||Xt||2 + ||Yt||

2 + ||Zt||2

dt < +.( 2 . 1 4 )

W e d e n o t e t h e s p a c e L2(R+;R

n)t h e s p a c e o f a l l R

n- v a l u e d

Ft - a d a p t e d p r o c e s s e s

(t)t0 s u c h t h a t

||||2 = E

+0

et||t||2dt < +.

( 2 . 1 5 )

T h e s p a c e L2(R+;R

nd)i s d e n e d s i m i l a r l y . T h e m a i n r e s u l t i n [ 5 ] , T h e o r e m 3 . 1 ,

s t a t e s t h a t

T h e o r e m 2 . 1 . A s s u m e ( H 1 ) - ( H 5 ) h o l d . T h e n t h e r e e x i s t s a u n i q u e s o l u t i o n

(Xt, Yt, Zt)t0t o t h e F B S D E ( 2 . 1 ) i n

L2(R+;Rn) L2(R+;R

n) L2(R+;Rnd)

.

F u r t h e r , w e p r e s e n t i n s h o r t t h e c o n s t r u c t i o n o f t h e s o l u t i o n o f t h e b a c k w a r d e q u a t i o n

i n ( 2 . 1 ) . T h e a p p r o x i m a t i o n t e c h n i q u e w a s p r o p o s e d b y P a r d o u x i n [ 3 ] w h e r e h e p r o v e d

t h a t t h e B S D E w i t h r a n d o m ( p o s s i b l y i n n i t e ) t e r m i n a l t i m e

Yt = YT +

Tt

h(s, Ys, Zs)ds

Tt

ZsdWs, T > 0 a.s. ( 2 . 1 6 )

h a s a u n i q u e s o l u t i o n

(Yt, Zt)t0 L2(R+;R

n) L2(R+;Rnd)

u n d e r t h e a s s u m p t i o n s

( H 1 ) - ( H 5 ) .

T h e s o l u t i o n t o ( 2 . 1 6 ) i s o b t a i n e d a s l i m i t o f t h e a p p r o x i m a t i o n s e q u e n c e

(Ynt , Znt )t0

w h e r e

Ynt = E

|Fn

+

nt

1[0,](s)h(s, Ys, Zs)ds

nt

1[0,](s)ZsdWs, 0 t n

Ynt = E

|Ft

, for t n.( 2 . 1 7 )

T h e s o l u t i o n p r o c e s s (Znt )t0 i s o b t a i n e d b y t h e c l a s s i c a l m a r t i n g a l e r e p r e s e n t a t i o n

a r g u m e n t . T h e c o n v e r g e n c e i s w i t h r e s p e c t t o t h e t o p o l o g y i n d u c e d b y t h e n o r m

Esup0te

t

||Yt||

2

+0 e

t

||Yt||

2

dt +0 e

t

||Zt||

2

dt

,( 2 . 1 8 )

f o r s o m e

g i v e n b y p r o p e r t i e s o f t h e g e n e r a t o r h

.


5/15

2 . 3 S o m e k n o w n r e s u l t s o n s t o c h a s t i c c o n t r o l i n n i t e t i m e h o r i z o n 5

2 . 3 S o m e k n o w n r e s u l t s o n s t o c h a s t i c c o n t r o l i n n i t e t i m e h o r i -

z o n

L e t T > 0 b e a n i t e t i m e h o r i z o n a n d Xt b e a c o n t r o l l e d d i u s i o n p r o c e s s i n Rn

, i . e . Xti s a s t r o n g s o l u t i o n t o t h e S D E

dXs = b(s, Xs, us)ds + (s, Xs, us)dWs, s (t, T] a.s. ( 2 . 1 9 )

Xt = x,

w h e r e (us) U(t, x) i s U- v a l u e d c o n t r o l p r o c e s s , U R

k,

U(t, x)i s a s e t o f a d m i s s i b l e

c o n t r o l s , b

a n d

a r e t w o m e a s u r a b l e f u n c t i o n s e n s u r i n g s t r o n g e x i s t e n c e o f t h e s o l u t i o n

t o

(2.19)f o r a l l

(us) U(t, x) .F u r t h e r m o r e , l e t

f Ca n d

g C1

b e t w o f u n c t i o n s s o t h a t t h e f o l l o w i n g f u n c t i o n a l

J(t,x,u) = E T

t

f(s, Xt,xs , us)ds + g(Xt,xT )

( 2 . 2 0 )

i s m e a n i n g f u l ( i . e . i t c o n v e r g e s ) a n d w e d e n e t h e c o s t ( o r v a l u e ) f u n c t i o n v(t, x)

b y

v(t, x) = supuU(t,x)

J(t,x,u).( 2 . 2 1 )

T h e g o a l i s t o n d s u c h a s t r a t e g y u U(t, x)

s o t h a t

v(t, x) = J(t,x,u).

ui s c a l l e d o p t i m a l c o n t r o l .

L e t u s d e n e g e n e r a l i z e d H a m i l t o n i a n o f t h e p r o b l e m b y

H(t,x,u,y ,z) =

b(t,x,u), y

+ T r

(t,x,u)z

+ f(t,x,u).

W e s u p p o s e t h a t H

i s d i e r e n t i a b l e i n x

( d e n o t e d a s xH ) a n d w e c o n s i d e r t h e

f o l l o w i n g B S D E

dYt = xH(t, Xt, ut, Yt, Zt)dt ZtdWt, t [0, T) a.s.

YT = xg(XT) a.s. ( 2 . 2 2 )

T h e n w e c a n f o r m u l a t e t h e m a x i m u m p r i n c i p l e o n n i t e t i m e h o r i z o n p r o v i d i n g s u c i e n t

c o n d i t i o n s f o r t h e o p t i m a l s t r a t e g y u

. F o r t h e p r o o f a n d i n t e r e s t i n g r e f e r e n c e s s e e [ 1 2 ] .

T h e o r e m 2 . 2 ( S t o c h a s t i c P o n t r y a g i n ' s m a x i m u m p r i n c i p l e ) . L e t u U(t, x) a n d X b et h e a s s o c i a t e d c o n t r o l l e d d i u s i o n p r o c e s s . F u r t h e r , l e t u s s u p p o s e t h a t t h e r e e x i s t s a

s o l u t i o n (Y , Z)

t o a s s o c i a t e d B S D E ( 2 . 2 2 ) s u c h t h a t

H(t, Xt, u, Yt, Zt) = maxuU

H(t, Xt, u, Yt, Zt), t [0, T] a.s.

(x, u) H(t,x,u, Yt, Zt) i s a c o n c a v e f u n c t i o n f o r a l l t .

T h e n u = u

, i . e . u

i s o p t i m a l c o n t r o l s t r a t e g y t o t h e s t o c h a s t i c c o n t r o l p r o b l e m ( 2 . 1 9 )

- ( 2 . 2 1 ) .


6/15

6 3 D I S C O U N T E D C O N T R O L P R O B L E M

3 D i s c o u n t e d c o n t r o l p r o b l e m

I n t h i s s e c t i o n , w e c o n s i d e r t h e s t o c h a s t i c c o n t r o l p r o b l e m o v e r w h o l e

R+. T h e f u n c t i o n a l

t o b e m a x i m i s e d i s t h e d i s c o u n t e d o n e a s d e n e d b e l o w .

T h e c o n t r o l l e d s t a t e p r o c e s s (Xt)t0 i s a s t r o n g s o l u t i o n t o t h e f o l l o w i n g c o n t r o l l e d

S D E o n R+

dXt = b(Xt, ut)dt + (Xt, ut)dWt, t 0 a.s. ( 3 . 1 )

X0 = x,

w h e r e t h e r a n d o m f u n c t i o n s b,

s a t i s f y a s s u m p t i o n s ( H 1 ) - ( H 5 ) . T h e f u n c t i o n a l c o n -

s i d e r e d h e r e i s o f t h e f o r m

J(x, u) = E +

0

etf(Xt, ut)dt

,( 3 . 2 )

w h e r e f C(Rn U;R) i s t h e p e n a l i z a t i o n ( o r a p p r e c i a t i o n ) f u n c t i o n o v e r R+ s u c h

t h a t J(x, u)

c o n v e r g e s a n d > 0

i s t h e d i s c o u n t f a c t o r .

F u r t h e r , w e d e n e t h e c o s t f u n c t i o n v(x)

b y

v(x) = sup

uU

(x)

J(x, u).( 3 . 3 )

T h e g o a l i s t o n d s u c h a s t r a t e g y u U(x)

s o t h a t t h e s u p r e m u m i n ( 3 . 3 ) i s a t t a i n e d

i nu

, i . e . v(x) = J(x, u)

.

3 . 1 H a m i l t o n i a n o f t h e s y s t e m

W e d e n e a g e n e r a l i z e d H a m i l t o n i a n

Ha s s o c i a t e d t o c o n t r o l p r o b l e m ( 3 . 1 ) - ( 3 . 3 ) b y

H : Rn U Rn Rnd R a n d

H(x,u,y ,z) =

b(x, u), y

+ T r((x, u)

z) + f(x, u)

x, y

,( 3 . 4 )

w h e r e

,

d e n o t e s i n n e r p r o d u c t i n Rn

. T h e H a m i l t o n i a n i s a n a n a l o g y t o t h e

L a g r a n g e f u n c t i o n i n t h e t h e o r y o f c o n s t r a i n e d o p t i m i z a t i o n s i n c e t h e v a r i a b l e s y

a n d

zc a n b e v i e w e d a s " g e n e r a l i z e d L a g r a n g e m u l t i p l i c a t o r s a n d t h e f u n c t i o n s

ba n d

a s

t h e c o n s t r a i n t s f o r t h e s p a c e p r o c e s s Xt . W e s t r e s s t h a t t h e e x t r e m a l p o i n t o f H w . r . t .

ud o e s n o t d e p e n d o n t h e l a s t t e r m

x, y

a n d t h e c o n c a v i t y / c o n v e x i t y w . r . t . (x, u)

n e i t h e r .

W e s u p p o s e t h a t

Hi s d i e r e n t i a b l e i n

x( w i t h t h e g r a d i e n t d e n o t e d a s

xH ) a n d w e c o n s i d e r t h e f o l l o w i n g B S D E

Yt =

+

t

xH(Xs, us, Ys, Zs)ds

+

t

ZsdWs, t 0 a.s..


7/15

7

4 I n n i t e h o r i z o n s u c i e n t m a x i m u m p r i n c i p l e

I n t h i s s e c t i o n , t h e m a i n r e s u l t i s g i v e n .

T h e o r e m 4 . 1 ( S u c i e n t s t o c h a s t i c m a x i m u m p r i n c i p l e ) . L e tu U(x)

a n dX

b e t h e

a s s o c i a t e d c o n t r o l l e d d i u s i o n p r o c e s s . F u r t h e r , l e t u s s u p p o s e t h a t t h e r e e x i s t s a s o l u t i o n

(Y , Z)t o t h e a s s o c i a t e d B S D E ( 3 . 5 ) s u c h t h a t

H(Xt, u, Yt, Zt) = maxuU

H(Xt, u, Yt, Zt), t R+, a.s.

(x, u) H(x,u, Yt, Zt) i s a c o n c a v e f u n c t i o n f o r a l l t.

T h e n u = u

, i . e . u

i s t h e o p t i m a l c o n t r o l s t r a t e g y t o t h e s t o c h a s t i c c o n t r o l p r o b l e m

( 3 . 1 ) - ( 3 . 3 ) .

P r o o f : L e t u s t a k e a n a r b i t r a r y u U(x)

a n d e x a m i n e t h e d i e r e n c e J(x, u) J(x, u)

.

T h e g o a l i s t o s h o w t h a t t h i s q u a n t i t y i s n o n n e g a t i v e .

U s i n g t h e d e n i t i o n o f J(x, u)

a n dH

w e h a v e

J(x, u) J(x, u) = E

+0

et

f(Xt, ut) f(Xt, ut)

dt =

E+

0

etH(Xt, ut, Yt, Zt) H(Xt, ut, Yt, Zt)dt+E

+0

et

b(Xt, ut) b(Xt, ut), Yt

dt+

E

+0

etT r

(Xt, ut) (Xt, ut)

Zt

dt +E

+0

et

Xt Xt

Ytdt. ( 4 . 1 )

T h e L e b e s g u e i n t e g r a l o v e r R+ c a n b e e x p r e s s e d ( f r o m F u b i n i ' s t h e o r e m a n d e x i s t e n c e

o f t h e o r i g i n a l i n t e g r a l ) a s t h e f o l l o w i n g l i m i t

E+

0

Itdt = limT+

ET

0

Itdt, ( 4 . 2 )

w h e r e It i s t h e i n t e g r a n d o f ( 4 . 1 ) .

F u r t h e r , w e d e n e a n e w p a i r o f s o l u t i o n p r o c e s s e s

(YTt , ZTt ) o f t h e n e w B S D E o n [0, T]

dYTt = xH(Xt, ut, YTt , Z

Tt )dt Z

Tt dWt, t [0, T) a.s.

YTT = xg(XT) 0, a.s. ( 4 . 3 )

f o r a f u n c t i o n g 0 . W e n o t e t h a t t h e p a i r (YTt , ZTt )t[0,T] c a n b e d e n e d o n R+ b y

l a y i n g YTt = 0 f o r t > T a n d Z

Tt = 0 f o r t > T. T h i s w a y w e o b t a i n a n a p p r o x i m a t i o n

p r o c e s s

(Y

T

t ,

Z

T

t )tR+o f t h e s o l u t i o n t o t h e a s s o c i a t e d B S D E ( 3 . 5 ) e x a c t l y a c c o r d i n g t o

t h e a p p r o a c h b y P a r d o u x ( 2 . 1 7 ) .


8/15

8 4 I N F I N I T E H O R I Z O N S U F F I C I E N T M A X I M U M P R I N C I P L E

N o w , u s i n g a g a i n t h e c t i v e f u n c t i o n g 0

i n t h e d e n i t i o n o f t h e f u n c t i o n a l J(x, u)

( a s a n a n a l o g y t o t h e n i t e t i m e h o r i z o n c a s e ) , o n e c a n i m a g i n e t h e n e w f u n c t i o n a l ( o r

b e t t e r , t h e d i e r e n c e o f f u n c t i o n a l s ) i n ( 4 . 2 )

J(x, u) J(x, u) := limT+

E

T0

Itdt + g(XT) g(XT)

( 4 . 4 )

a n d f u r t h e r , u s i n g t h e s u p e r g r a d i e n t i n e q u a l i t y f o r C1

c o n c a v e f u n c t i o n s w e h a v e

0 = g(XT) g(XT)

XT XT

xg(XT) =

XT XT

YTT =

XT XT

eTYTT

s i n c e

YTT = 0 a.s. A p p l y i n g t h e I t f o r m u l a t o t h e l a s t e x p r e s s i o n a n d t a k i n g E() w ea r r i v e t o

0 =E

g(XT) g(XT)

= E

XT XT

eTYTT

= E

T0

Xt Xt

d

etYTt

+

E

T0

et

YTt

d

Xt Xt

+E

T0

etT r

(Xt, ut) (Xt, ut)

ZTt

dt =

=ET

0

etXt

Xt

xH(X

t,

ut, YT

t, ZT

t )dt

E+

0

etXt

XtYT

tdt

+

E

T0

etT r

(Xt, ut) (Xt, ut)

ZTt

dt +E

T0

et

b(Xt, ut) b(Xt, ut), YTt

dt.

( 4 . 5 )

T h e n , p u t t i n g ( 4 . 5 ) i n t o ( 4 . 4 ) w e g e t

J(x, u) J(x, u) = limT+

E

T0

Itdt, ( 4 . 6 )

w h e r e

It = et

H(Xt,ut, Yt, Zt) H(Xt, ut, Yt, Zt)

Xt Xt

xH(Xt, ut, Y

Tt , Z

Tt )+

b(Xt,ut) b(Xt, ut), Y

Tt Yt

+ T r

(Xt, ut)

(Xt, ut)

ZTt Zt

+

XtXt

Yt Y

Tt

.

( 4 . 7 )

N o w , s h i f t i n g t h e f u n c t i o n xH t o t h e p o i n t (Xt, ut, Yt, Zt) w e n a l l y d e d u c e t h a t


9/15

9

It = et

H(Xt,ut, Yt, Zt) H(Xt, ut, Yt, Zt)

Xt XtxH(Xt, ut, Yt, Zt)+

XtXt

xH(Xt, ut, Yt, Zt) xH(Xt, ut, YTt , Z

Tt )

+b(Xt,ut) b(Xt, ut), Y

Tt Yt

+ T r

(Xt, ut)

(Xt, ut)

ZTt Zt

+

XtXt

Yt YTt

.

( 4 . 8 )

F r o m t h e c o n c a v i t y o f H

i n(x, u), w e k n o w t h a t

H(Xt, ut, Yt, Zt) H(Xt, ut, Yt, Zt)

Xt Xt

xH(Xt, ut, Yt, Zt) 0. ( 4 . 9 )

T o c o m p l e t e t h e p r o o f , w e h a v e t o s h o w t h a t a l l t h e r e m a i n i n g t e r m s i n ( 4 . 8 ) t e n d

t o z e r o w h e n t a k i n g E()

, i n t e g r a t i o n o v e r

[0, T]a n d s e n d i n g

T +. W e e x a m i n e t h e

f o u r r e m a i n i n g t e r m s s e p a r a t e l y .

S e c o n d t e r m i n 4 . 8

T o s h o w t h a t

limT+

E+

0

1[0,T](t)etXt Xt

xH(Xt, ut, Yt, Zt) xH(Xt, ut, YTt , ZTt )dt = 0( 4 . 1 0 )

w e d e n o t e

xH(Xt, ut, y , z) = h(y, z) a n d w e a p p l y t w o t i m e s t h e S c h w a r z i n e q u a l i t y t o o b t a i n

E+0

1[0,T](t)et

Xt Xt

h(Yt, Zt) h(Y

Tt , Z

Tt )

dt

E

+0

et||Xt Xt| | | |h(Yt, Zt) h(YTt , Z

Tt )||dt

E+0 e

t

||

Xt Xt||

21/2E+0 e

t

||h(Yt,

Zt) h(

Y

T

t ,

Z

T

t )||

21/2.

( 4 . 1 1 )

T h e r s t i n t e g r a l d o e s n o t d e p e n d o n T

a n d i s n i t e d u e t o ( 2 . 1 2 ) . T h e i n t e g r a n d i n

t h e s e c o n d t e r m c a n b e r e w r i t t e n a s f o l l o w s

||h(Yt, Zt) h(YTt , Z

Tt )||

2 2

||h(YTt , ZTt ) h(Y

Tt , Zt)||

2 + ||h(YTt , Zt) h(Yt, Zt)||2

2c22||ZTt Zt||

2 + 2||h(YTt , Zt) h(Yt, Zt)||2.

( 4 . 1 2 )

T h e r e f o r e , t h e i n t e g r a l 2c2

2E +

0et||ZT

t Z

t||2dt

v a n i s h e s a s T +

d u e t o t h e

a p p r o x i m a t i o n p r o p e r t y o f ZT

, s e e ( 2 . 1 7 ) a n d ( 2 . 1 8 ) . T h e r e m a i n i n g t e r m h a s t o b e

t r e a t e d i n a d i e r e n t w a y . F r o m ( 2 . 1 8 ) w e k n o w t h a t


10/15

1 0 4 I N F I N I T E H O R I Z O N S U F F I C I E N T M A X I M U M P R I N C I P L E

limT+

Esupt0

et||YTt Yt||2 = 0. ( 4 . 1 3 )

T h e n t h e r e e x i s t s a s e q u e n c e Tn, Tn + a s n + s o t h a t

supt0

et||YTnt Yt||2 0, as n +, a.s.

( 4 . 1 4 )

a n d t h e r e f o r e ||YTnt Yt||

2 0 as n +f o r e v e r y

t 0 x e d .

T o c o n c l u d e t h i s s t e p w e r e a l i z e t h a t

||h(YTnt , Zt) h(Yt, Zt)||2 4||h(YTnt , Zt) h(YTnt , 0)||2+

||h(Yt, Zt) h(Yt, 0)||2 + ||h(Yt, 0)||

2 + ||h(YTnt , 0)||2

8c22||Zt||2 + 16||h(0, 0)||2 + 4

2

||YTnt ||

+ 2

||Yt||

,( 4 . 1 5 )

w h i c h , a f t e r t a k i n g E() a n d m u l t i p l y i n g b y t h e f a c t o r et , i s a n i n t e g r a b l e m a j o r a n t w i t h r e s p e c t t o L e b e s g u e i n t e g r a t i o n o v e r

R+ . T h u s , t h e w h o l e t e r m i n ( 4 . 1 1 ) v a n i s h e s

a sn +

d u e t o F u b i n i , d o m i n a t e d c o n v e r g e n c e , c o n t i n u i t y o f h(y, z)

i ny

a n d t h e

a p p r o x i m a t i o n p r o p e r t y ( 2 . 1 7 ) a n d ( 2 . 1 8 ) .

T h i r d t e r m i n 4 . 8 T o s h o w t h a t

limT+

E

+0

1[0,T](t)et

b(Xt, ut) b(Xt, ut), Y

Tt Yt

dt = 0 ( 4 . 1 6 )

w e a p p l y , a g a i n , t w o t i m e s t h e S c h w a r z i n e q u a l i t y s o t h a t w e o b t a i n

E

+0

1[0,T](t)etb(Xt, ut) b(Xt, ut), Y

Tt Yt dt

E+0

et||b(Xt, ut) b(Xt, ut)| | | |YTt Yt||dt E

+0

et||b(Xt, ut) b(Xt, ut)||21/2

E

+0

et||YTt Yt||21/2

.( 4 . 1 7 )

T h e n t h e s e c o n d t e r m o n t h e r . h . s . v a n i s h e s a s T +

d u e t o t h e a p p r o x i m a t i o n

p r o p e r t y o f YT

. U s i n g A s s u m p t i o n s ( H 1 ) - ( H 5 ) , t h e r s t t e r m o n t h e r . h . s . i s b o u n d e d

f o r i t h o l d s

||b(Xt, ut) b(Xt, ut)||2 2||b(Xt, ut)||2 + ||b(Xt, ut)||2

2

||b(0, ut)||2 + ||b(0, ut)||

2

+ 2k

1 + ||Xt||2 + ||Xt||

2

. ( 4 . 1 8 )


11/15

1 1

T h e r e f o r e , w e c a n d e d u c e f r o m A s s u m p t i o n s ( H 1 ) - ( H 5 ) t h a t ( 4 . 1 6 ) h o l d s .

F o u r t h t e r m i n 4 . 8

T o s h o w t h a t

limT+

E

+0

1[0,T](t)etT r

(Xt, ut)

(Xt, ut)

ZTt Zt

dt = 0( 4 . 1 9 )

a g a i n , a p p l y i n g t w o t i m e s t h e S c h w a r z i n e q u a l i t y w e h a v e

E

+0

1[0,T](t)etT r

(Xt, ut)

(Xt, ut)ZTt Zt

dt

E

+

0

et||(Xt, ut) (Xt, ut)| | | |Z

Tt Ztdt

E

+0

et||(Xt, ut) (Xt, ut)||

21/2

E

+0

et||ZTt Zt||21/2

.

( 4 . 2 0 )

T a k i n g i n t o a c c o u n t t h a t

||(Xt, ut) (Xt, ut)|| ||(Xt, ut) (Xt, ut)|| + ||(Xt, ut) (Xt, ut)||

k3||

Xt Xt|| + ||(Xt, ut) (0, ut)|| + ||(Xt, ut) (0, ut)|| + ||(0, ut) (0, ut)|| 2k3

||Xt|| + ||Xt||

+ ||(0, ut)|| + ||(0, ut)||, ( 4 . 2 1 )

i t c a n b e e a s i l y s e e n t h a t t h e f o u r t h t e r m t e n d s t o

0a s

T +b y s i m i l a r a r g u m e n t s

a s a b o v e .

F i f t h t e r m i n 4 . 8

T h e t e r m

limT+

E+

0

1[0,T](t)etXt Xt

Yt YTt dt ( 4 . 2 2 )

t e n d s t o 0 b y s i m i l a r a r g u m e n t s a s a b o v e . T h e r e f o r e , w e d e d u c e t h a t

J(x, u) J(x, u) 0, u U(x)

a n du

i s i n d e e d t h e o p t i m a l c o n t r o l .

5 E x a m p l e s

5 . 1 S t o c h a s t i c c o n t r o l w i t h r a n d o m t i m e

T h i s e x a m p l e i s t a k e n f r o m t h e b o o k b y H . P h a m [ 1 2 ] a n d i t i l u s t r a t e s h o w , u n d e r s o m e

a s s u m p t i o n s , r a n d o m h o r i z o n c o n t r o l p r o b l e m c a n b e r e w r i t t e n a s a n i n n i t e h o r i z o n


12/15

1 2 5 E X A M P L E S

d i s c o u n t e d c o n t r o l p r o b l e m . L e t u s c o n s i d e r s t o c h a s t i c c o n t r o l p r o b l e m w i t h r a n d o m

t e r m i n a l t i m e

( w h i c h c a n r e p r e s e n t r a n d o m t i m e o f c h a n g e s i n t h e i n v e s t o r ' s o p p o r t u n i t y

s e t , t i m e o f a n e x o g e n o u s s h o c k t o t h e c o n t r o l l e d p r o c e s s (Xut )t0 e t c . ) W e l a y

v(x) = supuU(x)

E

0

etf(Xut )dt

,( 5 . 1 )

w h e r e > 0

i s t h e d i s c o u n t f a c t o r a n d f

i s i n v e s t o r ' s u t i l i t y f u n c t i o n .

F u r t h e r m o r e , w e a s s u m e t h a t

i s i n d e p e n d e n t o f t h e F w h i c h i s a U C c o m p l e t i o n

o f

t0F

Xt a n d w e s u p p o s e t h a t F(t) = P[ t] = P[ t|F] = 1 e

tf o r s o m e

> 0.

T h e n w e c a n w r i t e ( k e e p i n g i n m i n d i n d e p e n d e n c e o f

o nF )

E

0

etf(Xut )dt

= E +

0

1t 0i s a d i s c o u n t f a c t o r .

T h e m i n i m i z a t i o n t a s k i s c o n v e r t e d t o m a x i m i z a t i o n b y t a k i n g J(x, u)

a s t h e f u n c t i -

o n a l . T h e H a m i l t o n i a n o f t h i s c o n t r o l p r o b l e m i s


13/15

5 . 2 P r o d u c t i o n p l a n n i n g p r o b l e m 1 3

H(x,u,y ,z) = (u )y + z c(u u1)2 h(x x1)

2 xy( 5 . 5 )

w h i c h i s a c o n c a v e f u n c t i o n i n (x, u)

. T h e d r i v e r o f t h e b a c k w a r d a d j o i n t e q u a t i o n i s

o b t a i n e d a s t h e d e r i v a t i v e o f H

w . r . t x

, i . e .

h(x,u,y ,z) =

xH(x,u,y ,z) = 2h(x x1) y ( 5 . 6 )

a n d t h e a s s o c i a t e d B S D E i s

Yt =

+t

2h(Xs x1) Ys

ds

+t

ZsdWs, t 0 a.s. ( 5 . 7 )

T o n d t h e e x t r e m a l ( m a x i m a l ) p o i n t o f H w e l a y

uH(x,u,y ,z) = y 2c(u u1) = 0 ( 5 . 8 )

w h i c h l e a d s t o

ut =Yt

2c+ u1. ( 5 . 9 )

F u r t h e r , w e w i l l t r y t o n d t h e s o l u t i o n t o B S D E ( 5 . 7 ) i n t h e f e e d b a c k f o r m w h i c h

w i l l l e a d t o M a r k o v c o n t r o l . L e t u s a s s u m e t h a t

Yt = t Xt + t, t 0 a.s. ( 5 . 1 0 )

f o r s o m e d e t e r m i n i s t i c f u n c t i o n s ,

i n

C1. A p p l y i n g t h e I t f o r m u l a t o t h e p r o c e s s

Yt w e g e t

dYt = tXtdt + tdXt +

tdt =

tXtdt + t

ut

dt + tdWt +

tdt. ( 5 . 1 1 )

N o w , c o m p a r i n g t h e d i e r e n t i a l s i n ( 5 . 7 ) a n d ( 5 . 1 1 ) w e o b t a i n t h e s e t o f e q u a t i o n s

tXt + t

ut

+ t = 2h(Xt x1) + Yt = 2h(Xt x1) + tXt + t ( 5 . 1 2 )

t = Zt. ( 5 . 1 3 )

I t i s s e e n t h a t o n c e h a v i n g t h e f u n c t i o n s ,

, w e c a n c o m p u t e t h e p r o c e s s e s Yt, Zt

a n d n a l l y t h e o p t i m a l c o n t r o l ut . T o p r o c e e d , w e e x p r e s s t h e c o n t r o l ut f r o m e q u a t i o n

( 5 . 1 2 ) a n d c o m p a r e i t t o t h e e x p r e s s i o n i n ( 5 . 9 ) w h i c h l e a d s t o

tXt + t2c

+ u1 =1

tXtt + 2h t + t 2hx1

t + . ( 5 . 1 4 )

F i n a l l y , c o m p a r i n g t h e t e r m s w h i c h c o r r e s p o n d t o t h e p o w e r s o f Xt , i . e . X

1t a n d X

0t w e

o b t a i n t h e O D E s y s t e m f o r t h e f u n c t i o n s ,

w h i c h c a n b e s o l v e d w i t h o u t a n y p r o b l e m s .


14/15

1 4 R E F E R E N C E

1

2c t =

1

t

t + 2h

t

( 5 . 1 5 )

1

2ct + u1 =

1

t

t 2hx1

t

+ .

( 5 . 1 6 )

W e s e e t h a t t h e r s t e q u a t i o n i s o f t h e R i c c a t i t y p e a s e x p e c t e d .

T h e a u t h o r w i s h e s t o t h a n k p r o f . M a s l o w s k i f o r h i s h e l p , g u i d a n c e a n d e n c o u r a g e m e n t

t o t h e w o r k .

R e f e r e n c e

[ 1 ] k s e n d a l B . , S u l e m A . a n d F r a m s t a d N . C . A s u c i e n t s t o c h a s t i c m a x i m u m p r i n -

c i p l e f o r o p t i m a l c o n t r o l o f j u m p d i u s i o n s a n d a p p l i c a t i o n s t o n a n c e . J . O p t i m i -

z a t i o n T h e o r y a n d A p p l i c a t i o n s , 1 2 1 , 7 7 - 9 8 , 2 0 0 4 . E r r a t a : J . O p t i m i z a t i o n T h e o r y

a n d A p p l i c a t i o n s 1 2 4 , 5 1 1 - 5 1 2 , 2 0 0 5 .

[ 2 ] k s e n d a l B . S t o c h a s t i c D i e r e n t i a l E q u a t i o n s . A n I n t r o d u c t i o n w i t h A p p l i c a t i o n s ,

4 t h e d i t i o n . B e r l i n , S p r i n g e r - V e r l a g 1 9 9 5 . , I S B N 3 - 5 4 0 - 6 0 2 4 3 - 7 ( U n i v e r s i t e x t )

[ 3 ] P a r d o u x E . B S D E s w e a k c o n v e r g e n c e a n d h o m o g e n i z a t i o n s o f s e m i l i n e a r P D E s .

N o n l i n e a r A n a l y s i s D i e r e n t i a l E q u a t i o n s a n d C o n t r o l . C l a r k , F . H . , S t e r n , R . J .

( E d s . ) , K l u w e r A c a d e m i c , D o r d r e c h t , 5 0 3 - 5 4 9 , 1 9 9 9 .

[ 4 ] P a r d o u x E . , P e n g S . G . A d a p t e d s o l u t i o n o f a b a c k w a r d s t o c h a s t i c d i e r e n t i a l

e q u a t i o n . S y s t e m s & C o n t r o l L e t t e r s . 1 4 , 5 5 - 6 1 , 1 9 9 0 .

[ 5 ] Y i n J . O n s o l u t i o n s o f a c l a s s o f i n n i t e h o r i z o n F B S D E ' s . S t a t i s t i c s a n d P r o b a b i l i t y

L e t t e r s . 7 8 , 2 4 1 2 - 2 4 1 9 , 2 0 0 8 .

[ 6 ] K u s h n e r H . J . N e c e s s a r y c o n d i t i o n s f o r c o n t i n u o u s p a r a m e t e r s t o c h a s t i c o p t i m i z a t i o n

p r o b l e m s . S I A M J . C o n t r o l . 1 0 , 5 5 0 - 5 6 5 , 1 9 7 2 .

[ 7 ] B i s m u t J . - M . C o n j u g a t e c o n v e x f u n c t i o n s i n o p t i m a l s t o c h a s t i c c o n t r o l . J . M a t h .

A n a l . A p p l . 4 4 , 3 8 4 ? 0 4 , 1 9 7 3 .

[ 8 ] B e n s o u s s a n A . M a x i m u m p r i n c i p l e a n d d y n a m i c p r o g r a m m i n g a p p r o a c h e s o f t h e

o p t i m a l c o n t r o l o f p a r t i a l l y o b s e r v e d d i u s i o n s . S t o c h a s t i c s . 9 , 1 6 9 - 2 2 2 , 1 9 8 3 .

[ 9 ] P e n g S . G . A g e n e r a l s t o c h a s t i c m a x i m u m p r i n c i p l e f o r o p t i m a l c o n t r o l p r o b l e m s .

S I A M J . C o n t r o l O p t i m . 2 8 , 9 6 6 - 9 7 9 , 1 9 9 0 .

[ 1 0 ] C a d e n i l l a s A . a n d H a u s s m a n n U . G . T h e s t o c h a s t i c m a x i m u m p r i n c i p l e f o r a s i n g u l a r

c o n t r o l p r o b l e m . S t o c h a s t i c s S t o c h a s t i c s R e p . 4 9 , 2 1 1 - 2 3 7 , 1 9 9 4 .

[ 1 1 ] T a n g S . J . a n d L i X . J . N e c e s s a r y c o n d i t i o n s f o r o p t i m a l c o n t r o l o f s t o c h a s t i c s y s t e m s

w i t h r a n d o m j u m p s . S I A M J . C o n t r o l O p t i m . 3 2 , 1 4 4 7 - 1 4 7 5 , 1 9 9 4 .


15/15

R E F E R E N C E 1 5

[ 1 2 ] P h a m , H . C o n t i n u o u s - t i m e s t o c h a s t i c c o n t r o l a n d o p t i m i z a t i o n w i t h n a n c i a l a p p l i -

c a t i o n s . S t o c h a s t i c M o d e l l i n g a n d A p p l i e d P r o b a b i l i t y 6 1 , S p r i n g e r - V e r l a g , B e r l i n ,

2 0 0 9 .

[ 1 3 ] B o r k a r V . S . C o n t r o l d i u s i o n p r o c e s s e s . P r o b a b i l i t y S u r v e y s . 2 , 2 1 3 - 2 4 4 , 2 0 0 5 .

Documents

Petr Veverka - Infinite Time Maximum Principle