Arret optimal avec contrainte

Arret optimal avec contrainteAuthor(s): Monique Pontier and Jacques SzpirglasSource: Advances in Applied Probability, Vol. 15, No. 4 (Dec., 1983), pp. 798-812Published by: Applied Probability TrustStable URL: http://www.jstor.org/stable/1427325 .

Accessed: 14/06/2014 12:13

Your use of the JSTOR archive indicates your acceptance of the Terms & Conditions of Use, available at .http://www.jstor.org/page/info/about/policies/terms.jsp

.JSTOR is a not-for-profit service that helps scholars, researchers, and students discover, use, and build upon a wide range ofcontent in a trusted digital archive. We use information technology and tools to increase productivity and facilitate new formsof scholarship. For more information about JSTOR, please contact [email protected].

.

Applied Probability Trust is collaborating with JSTOR to digitize, preserve and extend access to Advances inApplied Probability.

http://www.jstor.org

This content downloaded from 91.229.248.202 on Sat, 14 Jun 2014 12:13:04 PMAll use subject to JSTOR Terms and Conditions

http://www.jstor.org/action/showPublisher?publisherCode=apt

http://www.jstor.org/stable/1427325?origin=JSTOR-pdf

http://www.jstor.org/page/info/about/policies/terms.jsp


Adv. Appl. Prob. 15, 798-812 (1983) Printed in N. Ireland

( Applied Probability Trust 1983

ARRET OPTIMAL AVEC CONTRAINTE

MONIQUE PONTIER,* Universit6 d'Orlians JACQUES SZPIRGLAS,** Centre National d'Etudes des TUlcommunications

Abstract

Given two optional positive bounded processes Y and Y', defined on a probability space (fl, A, 9, P), and a non-negative real a, the problem is to maximize the average reward E(YT) among all the stopping times T verifying the following constraint:

E(Y-) >-

sup E(Ys) - a. s

The problem is solved by Lagrangian saddlepoint techniques in the set of randomized stopping times including the set of stopping times.

OPTIMAL STOPPING; AVERAGE CONSTRAINT; RANDOMIZED STOPPING TIMES

1. Introduction

1A. Prnsentation du problbme. On se donne un espace de probabilit6 (fl, sd, P), muni d'une filtration = (9,; t

_0) v6rifiant les conditions usuelles [8], sur

lequel sont d6finis deux processus optionnels positifs, born6s Y et Y', pourvus de limites ' droite et a gauche (ladlag) et d6finis jusqu'da l'infini.

On note 3- l'ensemble des temps d'arret (t.a.) relativement a la filtration 9, S

", pour un r6el a positif ou nul donn6, 1'ensemble des t.a. T de 3 qui v6rifient la contrainte

E(Y+) -

sup E(Ys) - a. SEET

On choisira des hypotheses sur Y' qui feront que l'ensemble g"J sera non vide. On cherche alors un t.a. T* qui maximise sur g•- le gain moyen E(YT), c'est-

a-dire

E(YT*) = sup E(YT). TE=--a

Regu le 4 Janvier 1983; revision regu le 26 Avril 1983. * Adresse postale: Department de Math6matiques, Universit6 d'Orleans, 45046 Orleans-

Cedex, France. ** Adresse postale: CNET/PAA/TIM/MTI. 92131 Issy les Moulineaux, France.

798



Arrct optimal avec contrainte 799

Un tel t.a. T* est appel6 temps d'arr&t optimal pour le problbme d'arr&t optimal avec contrainte associde & a.

Ce probleme n'a, en g6n6ral, pas de solution, comme dans le cas de l'arr6t optimal sans contrainte ([4], [5], [10], [15], [16], [22]). On est alors conduit, suivant [4] ou [10] a r6soudre un nouveau probleme d'optimisation sur un ensemble plus grand que celui des temps d'arret, favorable a l'utilisation des m6thodes de l'analyse convexe [21].

Soient V l'ensemble des processus optionnels born6s sur (f, 4, P), ladlag et d6finis jusqu'a l'infini, et V' l'ensemble des formes lin6aires continues positives

tL sur V, telles que gi(1)= 1. On note V" le sous-ensemble de V' d6fini par

V" = {I E V'/g(Y') - sup v(Y')- a}.

L'ensemble 3- s'injecte naturellement dans V', en associant ' tout T de 3- la forme de V':X-- >Ix(X) = E(XT). 3-a est ainsi contenu dans V" qui est done non vide des que -a" l'est.

On definit alors le nouveau probleme d'optimisation avec contrainte: trouver une forme jt* qui maximise l'ensemble

}(.Y); 1E Val.

Une telle forme * sera dite forme optimale pour le probleme avec contrainte

associ&e h a. Cette nouvelle formulation a l'avantage de bien se preter aux techniques

lagrangiennes qui conduiront aux r6sultats de cette 6tude. On r6sout ce

probleme, sous certaines hypotheses de r6gularit6, dans l'ensemble des 'temps d'arret aleatoires'.

DJfinition 1.1. On appelle temps d'arr&t ale'atoire (t.a.a.) une forme lindaire pt de V' associde & un triplet (b, T1, T2) forme d'un rdel b compris entre 0 et 1, et de deux temps d'arrt, et ddfinie pour tout X de V par

Ix (X) = bE(XT1) + (1- b)E(XT2).

De fagon imag6e, un t.a.a. est le r6sultat d'un tirage a pile ou face entre deux t.a.

Le problime d'arr6t avec contrainte n'a 6t6 l'objet, a notre connaissance, que d'un nombre restreint de publications. Citons d'abord Robin [20] qui traite d'un cas particulier, Y' = e-"t, mais qui a 6t6 pour beaucoup dans l'6laboration de ce travail. La g6n6ralisation de [20] a permis d'autres exemples ofi la

r6solution du problpme d'arr~t avec contrainte est possible, et parait promet- teuse pour les applications. Notre 6tude permet de placer dans un cadre g6nbral les exemples rassembl6s dans [22] sur les tests s6quentiels d'hypothhses



800 MONIQUE PONTIER ET JACQUES SZPIRGLAS

simples, et sur la d6tection de pannes ('disorder problem'), avec des seuils pour les probabilit6s d'erreur, ou les exemples de [1] et [19] avec des contraintes trajectorielles. II faut citer enfin Kennedy [13] qui r6sout le probleme de l'arret d'un processus sur les temps d'arret uniform6ment born6s par des m6thodes analogues aux n6tres.

Comme pour l'arret optimal, le contr6le stochastique r6parti avec contraintes n'a et6 que peu etudie; citons au moins: contraintes en esp6rance ou trajectorielles sur l'6tat final du processus contr6l1 dans [6], [11], [12], [14], [17], [18], ou contraintes sur le contr1le dans [2], [12].

Dans un second paragraphe de cette premiere partie, on rappelle des r6sultats g6neraux sur l'arret optimal (voir [4], [5], [10], [15], [22]). Dans une deuxieme partie, 'a partir d'une formulation lagrangienne (voir [2], [9], [21]) du probleme avec contraintes, on donne des r6sultats d'existence de formes linbaires optimales, ou e-optimales s'inspirant de [11] et [20]. La derniere partie est consacr6e a trois exemples oii s'appliquent les r6sultats de la deuxieme partie.

On traite diff6remment les deux situations: a strictement positif et a nul; la premiere correspond

' une contrainte en esp6rance, la seconde est plut6t une contrainte trajectorielle sur l'&tat final du systeme.

1B. Quelques resultats de la theorie de l'arr&t optimal. La theorie de l'arret optimal a fait l'objet de nombreuses 6tudes, par exemple [4], [5], [10], [15] ou [22]. Nous nous inspirons ici de El Karoui [10].

On considere sur un espace de probabilit6 filtr6 (fl, 4, 9,P), v6rifiant les conditions usuelles, un processus X positif, optionnel, bornd. Plusieurs types de r6gularite interviendront par la suite. Nous les definissons ici.

DJfinition 1.2. On dit que le processus X vorifie la propri&et scs (resp. scs-monotone) si pour toute suite T, de t.a. (resp. toute suite monotone) convergeant vers T, on a

E(XT) ?=

lim sup E(XT).

X est dit cadlag regulier, ou continu en esperance, si pour toute suite monotone T, de t.a. convergeant vers T on a

E(XT) = lirn E(XT).

Remarque. D'apres le theoreme IV.28 de [7], tout processus continu en

esp6rance au sens de la d6finition 1.2. est cadlag; donc, selon la terminologie classique, il est cadlag r6gulier. De plus, d'apres [3] on sait que tout processus cadlag r~gulier borne est la projection optionnelle d'un processus continu de borne supbrieure inttgrable. Par application du thborkme de Lebesgue, on a



Arr&t optimal avec contrainte 801

alors pour toute suite T, convergente vers T

E(XT) = lim E(XT).

Par contre, il ne semble pas 6vident que les propri6t6s scs et scs-monotone soient 6quivalentes.

L'outil essentiel de la th6orie de l'arret optimal est l'enveloppe de Snell. On

considbre le systeme (Z(T); TE e3) d6fini par

Z(T) = ess sup E(Xs/IT). ST

Alors, il existe une surmartingale forte Z unique (cf. [10], [15]), c'est-at-dire un

processus Z tel que:

pour tour t.a. S et T, S 5 T, E(ZAr/s) --Zs, et pour tout t.a. T:Zr = Z(T).

De plus, Z est la plus petite surmartingale forte majorant X. On notera par la suite les enveloppes de Snell de Y et Y' par J et J'.

Un temps d'arret T* est dit optimal pour le processus de gain X si

E(XT*) = sup E(XT). TEST

On a le critere d'optimalit& suivant ([10], p. 129).

Proposition 1.3. Un temps d'arr&t est optimal si et seulement si (i) XT* = Zr* p.s.

(ii) Zt,T* est une martingale.

On utilisera dans la suite le r6sultat suivant ([10], p. 142).

Proposition 1.4. Si X, processus optionnel, borne, positif, verifie la proprietdi scs-monotone, alors le debut D de l'ensemble {X= Z} est un temps d'arrat

optimal.

2. Arret optimal avec contrainte. Formulation lagrangienne, resultats

On montre d'abord qu'en toute generalite le probleme d'optimisation pos6 dans l'introduction admet une solution dans l'ensemble V'. Puis, dans le cas oii a est strictement positif, les techniques lagrangiennes permettent de degager un critere d'optimalite plus constructif. En particulier, en s'inspirant de [11] et

[20], on peut construire alors un t.a.a. e-optimal (optimal E-pres). Des hypotheses suppl6mentaires sur la r6gularit6 des solutions du problbme

dual, en fonction du multiplicateur de Lagrange, permettent ensuite de construire des t.a.a. optimaux, pour a positif ou nul.




2A. Formulation lagrangienne. On fait l'hypothese suivante, qui assure que les ensembles "-a et Va ne sont pas vides.

Les processus de gain Y et Y', definis sur (fl, , , P), optionnels, positifs, ladlag et born&s, possident la propriete scs-monotone. Le nouveau probleme d'optimisation d6fini dans l'introduction a alors une solution. En effet, l'ensemble Va est faiblement compact et l'application faiblement continue P ) .(Y) atteint son maximum en une mesure pt* optimale.

Pour construire effectivement cette mesure optimale, on utilise les techni-

ques lagrangiennes de [9], [21]. On cherche un point selle de la fonctionnelle L

d6finie de V' x R' dans R par

L(g, p) = ~(Y)+ p(p(Y')-E(JT)+ a).

C'est-a-dire un couple (pt*, p*) tel que

Vp e V', Vp E R+, L(f, p*) LL(f*, p*) L(*, p).

La proposition suivante est une cons6quence directe de ces inegalites.

Proposition 2.1. Une condition suffisante pour qu'une forme lineaire p* de V'soit optimale pour le problhme avec contrainte associde i& un reel a positif ou nul, est que l'une des deux conditions suivantes soit vreifi~e:

(i)

f*(Y)= sup p(Y) et p*(Y')2E(J')-a.

(ii) Il existe un reel p* strictement positif tel que

fk*(Y+p*Y')= sup pt(Y+p*Y') et p*(Y')=E(JP)-a.

Par la suite, on notera YP le processus Y + pY' et JP son enveloppe de Snell, dont on montre a present quelques propri&tes.

Proposition 2.2. En dehors d'un ensemble evanescent, ' application p -- JP est convexe, croissante, et ovrifie pour tous reels positifs p et q:

(*) IJ" - J" - Ip - q 11 Y'll. Demonstration. On verifie d'abord que ces propri6tes sont vraies quand on

restreint l'application aux rationnels. Par exemple, pour tout t.a. T, pour tout p et q rationnels positifs,

YPT= YrT+(p-

q)Y', donc J A-Jr-++lp-qjl Y'IIp.s.

D'oiD par sym6trie IJi-r -41 A Ip - q- IY'II p.s. Le th6orime de section entraine alors que, en dehors d'un 6vanescent, I'in6galit6 (*) est v6rifi6e sur les rationnels. On peut done prolonger par continuit6 l'application p--> JP sur tous les



Arret optimal avec contrainte 803

reels. Il est clair que le prolongement J verifie les propri6t6s 6noncees dans la

proposition. De plus, pour tout p, JP est une surmartingale forte majorant YP. Enfin JP coincide avec l'enveloppe de Snell JP, car c'est la plus petite surmartingale forte majorant YP: en effet, soit Z une surmartingale forte

majorant YP; on a, pour toute suite p, convergeant vers p,

Z - Y

: >= -?" -

IP - PnI IIY'II. Done Z - J"- -Jp - p, lY'll et en passant

' la limite, on obtient bien que Z

majore JP.

2B. Construction d'une solution e-optimale. On generalise ' notre formalisme

la m6thode constructive de [11] reprise dans [20]. On construit effectivement une forme li' de V' telle que

SLE V"a et g4(Y) > sup t(Y)

- .

De plus, cette forme est un temps d'arret aleatoire. Les hypotheses sur Y et Y' assurent, pour tout reel positif p, l'existence d'un

t.a. D, optimal pour le probleme d'arret sans contrainte associ6 au processus YP. On considere une selection mesurable de l'application p--) D,. Dans la

partie 3 consacr6e aux exemples, on particularise cette selection en choisissant

pour tout p

DP = inf {t 0/YtP = JP}.

Le lemme suivant sera fondamental dans la suite.

Lemme 2.3. L'application p - E(YL ) converge en croissant vers E(J').

Demonstration. A p et q fix6s, l'optimalit6 de DP

et Dp+,, montre que pour tout t.a. T:

E(Y,) + pE (YL) -

E(YT) + pE( Ypj)

E(YD) + (P + q)E(YL +,) E(YT) + (p + q)E(YT).

En remplagant T dans la premiere in6galit6 par D+q,, par DP dans la seconde,

et par transitivite des deux nouvelles in6galit6s, on obtient facilement que

E(YLP+o)

: E(YLp).

Puis, reprenant la premiere inegalit6, on voit que, pour tout t.a. T:

1

E(Y,,) E(Y•.) +- (E(Y,)-

E(Y,,)). p

Si l'on choisit T optimal pour le problme d'arrit associ6 & Y', et si l'on utilise




que Y est positif et born6, il vient

E(YLY,)

=

E(J')

_ llYl. p

Cette in6galit6 montre la convergence annonc6e.

Remarque. Si le t.a. Do v6rifie la contrainte, c'est un t.a. optimal pour le

problbme d'arret avec contrainte. Il en est de meme pour le temps d'arr&t D,, avec p strictement positif, s'il sature la contrainte, c'est-h-dire

E(Y ) = E(J)- a.

On en d6duit le corollaire suivant.

Corollaire 2.4. Si l'application p--) E(Yh) est continue, il existe un t.a. optimal pour le problhme d'arr&t avec contrainte.

Si on n'est pas sous les hypotheses du corollaire, on a de fagon g6nerale le r6sultat suivant.

Proposition 2.5. Pour tout e et a strictement positifs, on peut construire un t.a.a. pt' c-optimal qui sature la contrainte

pE(Y)>_ sup pt(Y)- et p•(Y')= E(JT)-a.

DImonstration. Si Do n'est pas solution, et si l'on considere la suite croissante de r"els p, = n(e/a), il existe, grace au lemme 2.3, deux r6els

E p = no- et q=(no+1) a a

tels que

E(Y•,)<E(Jo)-a et E(YL) -E(Jo)-a.

On peut done trouver un reel b entre 0 et 1 tel que

bE(YL) + (1- b)E(YL ) = E(J') - a.

Soit alors le t.a.a. pt=(b, D,,D,). On v6rifie qu'il est e-optimal. Utilisant

l'optimalit6 de D, et D,, et remplagant p et q en fonction de no, e et a, on a

E(YD)+ no- E(YL) -

a(Y) + no- (Y'), a a

E(Y.)+(no+1) _ E(YA)>

g,(Y)+(no+ 1)

_(Y') a a



Arrit optimal avec contrainte 805

pour toute forme pt de V'. En combinant ces deux inegalites, on obtient

pti(Y) - p(Y) + no - (p(Y')- E(Jo) + a)+ (1 - b) - (p(Y')-E(YL)). a a

Pour les formes pt de Va, on a

pt (Y') >--

E(JT) - a;

par d6finition de D,, on a

E(YL,) ) E(J )- a;

et comme p(Y') et E(YL,)

sont majores par E(J'), leur difference majore -a, et on obtient finalement

Pt(Y)? -_P(Y)-

E.

Remarque. L'entier no est n6cessairement majore par 1 Yl1/e; en effet pour tout t.a. T

E(YT)+no- E(Y-) E(YD)+no- E(YoL). a a

Comme Y est positif, born6 par llYlI, E(Yh,) major6 par E(J') - a, en choisissant T tel que E(YT) = E(Jo), on obtient

no- E(J6) IIllY+ no - (E(JA) - a), a a

soit 0 I Yl - noe. Si l'on se place alors dans un cadre markovien, la construction d'une forme

e-optimale n6cessite le calcul d'un nombre fini d'enveloppes de Snell JP- et de solutions de problkmes de Dirichlet associes a Y' sur les ensembles {YP =

JP4}. 2C. Resultats. Si l'on n'a pas la continuit6 de l'application p -- E(Yb,), des

hypotheses supplmentaires sont n6cessaires pour construire une solution

optimale au problme. Elles portent principalement sur la r6gularite de l'application p --* D,.

Proposition 2.6. Si l'application p -- Dp est une selection mesurable, limitge & droite et a gauche, de temps d'arret optimaux pour les problemes d'arret sans contrainte associes & YP; si de plus Y possede la proprietW scs et si Y' est cadlag regulier, alors on peut construite un temps d'arret aleatoire optimal pour le

problime d'arret avec contrainte associe &i a strictement positif.

Dimonstration. La monotonie de l'application p ---> E(Y',), lemme 2.3, assure l'existence d'un reel positif pa, tel que, pour tout e strictement positif,

E(YS _)<E(JJ) -a et E(YB...

) > E(JE)))-a.




Si l'on fait tendre E vers 0, la continuit6 en esp6rance de Y' et I'hypothbse de

r6gularit6 sur p -- Dp montrent que

E(Y3_) !- E(Jo) - a et E(Ybp,+) -

E(J)- a.

Une fois que l'on a choisi le r6el b entre 0 et 1 tel que

b(Yjoo_)+(1- b)E(Y?o+ )= E(JI)- a,

il reste a montrer que les t.a. D, et Dp+ sont, comme D,, optimaux pour YP. Par d6finition de Dp+,, et Dp-, pour tout e positif et toute forme pt de V',

on a

E(YDo?)+(p +

e)E(YB•?•)- g(Y)+(p + e) (Y').

La propri6te scs montre, en faisant tendre e vers 0, que

E ( YDp + pE ( Yb) 2(Y) + pp ( Y').

La meme propri6t6 d'optimalit6 se v6rifie pour le t.a. D,_. On a alors facilement que le t.a.a. (b, Drp-, D.+) est optimal pour le problbme d'arret avec contrainte associee au reel a strictement positif.

On trouvera dans la troisibme partie, des exemples de cette situation

g6nerale oui les temps d'arret Dp+

et D_, ne coincident pas. Le cas oii le reel a est nul se traite diff6remment.

Proposition 2.7. Si l'application p-- Dp a une limite D. quand p tend vers

l'infini, et si Y et Y' v&rifient la proprie"t6 scs, alors le temps d'arret D" est

optimal pour le problhme d'arret avec contrainte associde au reel a nul.

Demonstration. Le temps d'arret D, verifie la contrainte. En effet, le lemme 2.3 et la propriet6 scs de Y' impliquent

E(Yb) -lim sup E(YI,) = E(JE).

D'autre part, pour tout p positif et toute forme g de V', on a par d6finition de Dp

E(YD,,) (Y)+ p(g(Y')-

E(YB,)). Si l'on se restreint aux formes 4 de Vo, g(Y') = E(JE), et

E(YD) = (Y).

Appliquant alors la propriete scs de Y, on obtient

E(YD,) lim sup E(YD,) -

(Y)

pour toute forme 4 appartenant & Vo, ce qui termine la demonstration.




Remarque. II faut noter que si

Po = inf {p/E( Y) = E(J)} < +oo,

alors Do0

est dans l'ensemble 3-o et c'est un t.a. optimal pour le problbme d'arr&t associ6 au r6el a nul, sans hypothese suppl6mentaire.

Remarque. Une grande partie des applications se placent dans une situation markovienne. Soit X=((0, 9 X,, 0, (Px;; x e E)), un processus de Markov a valeurs dans un espace lusinien E. On considbre Y,=f(Xt) et Y't=f'(Xt). L'enveloppe de Snell de YP est alors une fonction qP(Xt) ou qP(x) est la r6duite de Snell de l'application f =f+pf'. I1 s'agit alors d'6tudier les

r6gularit6s des D,=inf{t-O0/qP(X,)=fP(Xt)}

et de l'application p---

E,f'(XD), si t est la loi initiale de X.

3. Exemples

On donne ici trois exemples. Les deux premiers sont une g6n6ralisation simple du cas trait6 par Robin [20]. Le problbme de d6tection de panne avec un seuil pour la probabilit6 de fausse alarme (Shiryayev [22]) peut rentrer dans ce cadre. Le dernier exemple est original, a notre connaissance, et peut se r6v6ler riche en applications.

On suppose dans la suite que les processus Y et Y' sont optionnels, positifs, born6s, d6finis jusqu'a l'infini, et v6rifient la propri6t6 scs-monotone. De plus Y' est suppos6 continu en esp6rance.

3A. Deux premiers exemples. Le processus Y' est soit une sous-martingale, soit une surmartingale.

Proposition 3.1. Si Dp

= inf {t 0/ OIJ = YP}, ' application p -- Dp est monotone

croissante et cag quand Y' est une sous-martingale, d&croissante et cad quand Y' est une surmartingale.

Dimonstration. Quand Y' est une sous-martingale (resp. surmartingale), on

peut montrer par une d6monstration analogue a celle de la proposition 2.2, que, en dehors d'un ensemble evanescent, pour tout p et q:

JP+ R> JP + qY' (resp. JP+ "< JP + qY').

Alors, il est simple de voir que, quand Y' est une sous-martingale

UP = 7 } D {P = y"CI} Sun 6vanescent prbs. En effet, sur l'ensemble oh JP"4 JP + qY' et JP" = - +q

YP y+qY' =fq= jPf JP f+ qY'




ce qui dit bien que YP =JP sur cet ensemble. De meme, quand Y' est une surmartingale, a un 6vanescent prbs

{jP = YP} c- {jp = yp+cl4}

et on a bien la monotonie annonc6e pour l'application p - D,. Montrons la continuit6 a gauche de cette application, dans le cas oii Y' est

une sous-martingale: soit une suite de r6els p, croissant vers p et la suite de t.a.

associ6s Dp. Cette suite est croissante et major6e par D,. Elle est done

convergente vers un temps d'arret D, inf6rieur ou 6gal a D,. La propri6t6 scs-monotone de Y et Y' montre que:

E(YD) + pE(Y,) -lim sup [E(YD,) + p,,E(YD)]. Or pour tout n,

E(YD)+ pnE(YD) = E(JD ).

L'uniforme continuit6 de p --+ JP (proposition 2.2) et le fait que E(J;) majore

E(J•) montrent que

lim sup E(JP) ? E(JD)

et done E(YP) = E(JD). Par d6finition de Dp cela montre que D est sup6rieur ou 6gal A D, d'oii

l'6galit6, et la continuit6 a gauche de p -- D,.

Corollaire 3.2. Il existe un t.a.a. optimal pour le probleme d'arret avec contrainte associee & un reel a positif ou nul.

La monotonie de l'application p -- Dp et les hypotheses de r6gularit6 sur Y et Y' permettent de se ramener aux propositions 2.6 et 2.7 qui assurent le r6sultat.

Les hypotheses sur Y sont affaiblies du fait de la r6gularit6 plus forte de

l'application p -- D,. Pour a nul, Do., limite monotone des D, est solution; mais s'il existe po tel

que E(Y ) = E(JM) comme on l'a remarqu6 dans 2C, Dpo est un t.a. optimal,

plus petit que Do. Les propositions suivantes donnent une construction expli- cite et g6n6rale d'un temps d'arr6t solution dans le cas oii Y' est une sous-martingale.

Proposition 3.3. Dans le cas oif Y' est une sous-martingale, si D' et SDo, designent les temps d'arret

D'= inf{t/J'= Y} et SDo,= inf {t _- D'/Y = J},

So, est un temps d'arrdt optimal pour le problime avec contrainte associde au reel a nul.



Arre t optimal avec contrainte 809

D.monstration. Comme Y' est une sous-martingale born6e, elle converge

p.s. a l'infini vers Y'. Son enveloppe de Snell n'est alors autre que la

martingale J', version cadlag de E(Y'/j/); en effet, par la propri6t6 de

sous-martingale, pour tout t.a. T

E(Y'/$T) -

Y'> ,

et si Z est une surmartingale forte majorant Y', on a pour tout t.a. T

ZT ? E(Zo/i T) i> E(Y"/ffTT)

= JT

ce qui montre bien que J' est l'enveloppe de Snell cherch6e. Il est alors facile de v6rifier que l'ensemble 0o des t.a. v6rifiant la contrainte est exactement

l'ensemble des t.a. plus grands que D'.

Alors, comme par d6finition SD, majore D', ce t.a. v6rifie la contrainte; de

plus, classiquement on a

Ys, = Js,, et E(Js,/19D,) = JD'

Ainsi

E(Ys,) = E(JD,)= sup E(Ys) S7_D'

ce qui est exactement dire que So, r6alise le sup de E(Ys) dans l'ensemble To.

Proposition 3.4. Soit Po = inf {p OI/E(Yi,) = E(J')} ou l'infini si l'ensemble est vide, alors les temps d'arret Doo

et So, sont egaux p.s.

Dmonstration. Le temps d'arret Dpo

v6rifiant la contrainte, il majore le t.a.

D'; il est de plus optimal dans Vo, donc

E(Yo) = sup E(Ys) = E(J,).

Mais Dpo

est plus grand que D' et J est une surmartingale

E(Jo,) >E(JD o).

Ainsi YDo est p.s. 6gal a JO,o et Dpo majore So,. R6ciproquement, en

So,, on a

a la fois

Y = J et Y' = J'.

Alors, pour tout p, YPs, = JIsD,+ pJg',= J,. Ainsi So, majore D,, pour tout p,

par d6finition de DP.

Et l'on a bien l'6galit6 cherch&e.

3B. Un troisieme exemple. Dans cet exemple on prend comme hypothbse suppl6mentaire que Y possede la propri6t6 scs et que Y' ne prend que les

valeurs 0 ou 1, c'est-h-dire que c'est une indicatrice d'ensemble. Le processus Y' peut 8tre par exemple l'indicatrice d'un intervalle stochastique [S, TI, oti S




et T sont deux t.a. totalement inaccessibles, ou encore

Y' = tx,00](Xt), avec le processus Xt p.s. cad et quasi-continu 'a gauche (7).

Proposition 3.5. Dans le cas oi le processus Y' est 'a valeurs dans {0, 1} si D%, D' et D, d signent les temps d'arret

Do = inf {t 0/ Y' = 0 et Yt = J}, D' = inf {t > /Yt= 1 et Yt = JP- p},

Dp = inf {t O/Y, + pY =

J=j}, les applications p ---> D? et p -- D' sont respectivement croissante et d croissante, et

DP est l'infimum de Do et D'.

DJmonstration. I1 est d'abord 6vident, par d6finition, que

D, = inf (Do, D').

Ensuite, montrons que, presque sfirement, p -- Do est croissante; et pour cela, montrons que, a un evanescent pres,

{Y' = 0 et Y = JP+}C{Y' = 0 et Y = J}.

En effet, on a vu dans la proposition 2.2 que l'application p -* JP est croissante hors d'un 6vanescent. Sur l'ensemble oih p---J" est croissante, Y' = 0 et Y = Jp+', on a

Y' = 0 et Y = Jp+q 2_* JP,

d'oi l'inclusion cherch6e et la croissance p.s. de p ---> D On peut montrer aussi que, a un evanescent pros,

{Y' = 1 et Y = JP - p}C{Y' = let Y = JP+F - p - q}.

En effet, la proposition 2.2 montre que, hors d'un 6vanescent,

JP+ -

JP + q.

La oi JP+" est major par JP + q, Y' = 1 et Y = JP - p, on a

Y'=1 et Y= JP- p--JPI+-p-q

d'ou l'inclusion cherch6e et la d6croissance p.s. de p ---> D Les applications p ---> D' (i = 0, 1) sont monotones, done ladlag et admettent

une limite A l'infini; leur infimum, D, est done aussi ladlag et admet 6galement une limite A l'infini. On est alors dans les conditions des propositions 2.6 et 2.7 et on a le corollaire suivant.




Corollaire 3.6. Il existe un t.a.a. optimal pour le proble'me d'arret avec contrainte associ e & un r -el positif ou nul.

On illustre par un exemple simple cette dernibre situation oui le processus de contrainte Y' est une indicatrice d'ensemble. On se donne un processus de Poisson (Pt; t > 0) sur un espace de probabilit6 (fl, 9, P), une fonction de gain

born6e g, c'est-a-dire que Y, = g(P). On suppose que g admet un maximum M au point 2 et un maximum relatif M-1 au point 4. On considbre le processus de contrainte Y'= 1[3,5(Pt) qui est cadlag r6gulier. On peut alors facilement calculer la r6duite de Snell qP:

qP(x) = sup E (g (PT) + pi [3,5](PT)) = Sup (g(y) + pl [3,5](Y)). T y--x

La suite de t.a. Dp d6finie pr6c6demment par

Dp = inf {th O/qP(P,) = Y, + pY'}

se calcule ici plus pr6cis6ment; si p est inf6rieur ou 6gal ' 1

D,=inf{t>-OIP,=2}, et PD =2;

et si p est sup6rieur a 1:

D, = inf {t >-OP, = 4}, et PD, =4.

En utilisant les r6sultats pr6c6dents, il est clair que le t.a.a. (a, D1, DI+) realise bien l'optimum sous contrainte recherch6.

Remerciment

Les auteurs remercient sincerement le rapporteur de ses utiles commentaires et suggestions.

Bibliographie

[1] BENSOUSSAN, A. ET LIONS, J. L. (1978) Applications des iniquations variationnelles en

contr6le stochastique. Dunod, Paris. [2] BisMUT, J. M. (1974) An example of optimal control with constraints. SIAM J. Control 12,

401-418. [3] BisMUT, J. M. (1978) R6gularit6 et continuit6 des processus. Z. Wahrscheinlichkeitsth. 44,

261-268. [4] BISMUT, J. M. (1979) Temps d'arret optimal, quasi-temps d'arrft et retournement du temps.

Ann. Prob. 7, 933-964. [5] BISMUT, J. M. AND SKALLI, B. (1977) Temps d'arret optimal, theorie g6n6rale des processus

et processus de Markov. Z. Wahrscheinlichkeitsth. 47, 301-313. [6] CHRISTOPEIT, N. (1978) A stochastic control model with chance constraints. SIAM J.

Control Optimization 16, 702-714.




[7] DELLACHERIE, C. (1972) Capacitis et processus stochastiques. Springer-Verlag, Berlin. [8] DELLACHERIE, C. ET MEYER, P. A. (1975), (1980) Probabilitis et potentiels, Tomes 1 et 2.

Hermann, Paris. [9] EKELAND, I. ET TEMAN, R. (1976) Convex Analysis and Variational Problems. North-

Holland, Amsterdam. [10] EL KAROUI, N. (1981) Les aspects probabilistes du contr6le stochastique. Ecole d'etd de

St-Flour IX, 1979, Lecture Notes in Mathematics 876, Springer-Verlag, Berlin. [11] FRID, E. B. (1972) On optimal strategies in control problems with constraints. Theory

Prob. Appl. 17, 188-192. [12] HAUSSMANN, U. G. (1981) Some examples of optimal stochastic controls or: the stochastic

maximum principle at work. SIAM Rev. 23, 292-307. [13] KENNEDY, D. P. (1982) On a constrained optimal stopping problem. J. Appl. Prob. 19,

631-642. [14] KUSHNER, H. J. (1965) On the stochastic maximum principle with average constraints. J.

Math. Anal. Appl. 12, 13-26. [15] MERTENS, J. F. (1972) Theorie des processus stochastiques generaux. Applications aux

surmartingales. Z. Wahrscheinlichkeitsth. 22, 45-68. [16] NEVEU, J. (1972) Martingales ai temps discret. Masson, Paris. [17] OZGOREN, M. K., LONGMAN, R. W. ET COOPER, C. A. (1978) Probabilistic inequality

constraints in stochastic optimal control theory. J. Math. Anal. Appl. 66, 237-259. [18] QUADRAT, J. P. (1980) Existence de solution et algorithme de resolution numerique de

probleme de contr6le optimal de diffusion stochastique deggnerge ou non. SIAM J. Control

Optimization 18, 199-266. [19] ROBIN, M. (1978) Contr6le impulsionnel de processus de Markov. These, Universite Paris

IX. [20] ROBIN, M. (1979) On optimal stochastic control problems with constraints. In Game

Theory and Related Topics, North-Holland, Amsterdam, 187-202. [21] ROCKAFELLAR, R. T. (1970) Convex Analysis. Princeton University Press, Princeton, NJ. [22] SHIRYAYEV, A. N. (1977) Optimal Stopping Rules. Applications of Mathematics 8,

Springer-Verlag, Berlin.



Documents

Arret optimal avec contrainte