R. Soncini Sessa, MODSS, 2004 1 S27 Stima degli effetti (Wald) Rodolfo Soncini Sessa MODSS Copyright 2004 © Rodolfo Soncini Sessa

R. Soncini Sessa, MODSS, 2004 1

S27 Stima degli effetti (Wald)

Rodolfo Soncini Sessa

MODSSCopyright 2004 © Rodolfo Soncini Sessa.


Calcolo degli obiettivi (caso di Wald)

• Descrizione di un sistema incerto• Analogie col problema di Laplace• Calcolo dei singoli obiettivi• Rappresentazione delle traiettorie

• Descrizione di un sistema incerto


Descrizione dei disturbi

Nel problema di Laplace t+1 ~ t

1

Descrivo t tramite un vettore (avente dimensione pari al numero di valori che il disturbo può assumere) in cui l’i-esimo elemento vale 1 se il corrispondente disturbo è realizzabile, 0 in caso contrario.

t

Insieme dei disturbi realizzabili.

t

t+1

t+1

Nel problema di Wald t+1 t


Modello di un sistema incerto

χt =

χt1

χt2

χt3

χt4

⎡

⎣

⎢⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥⎥

χt+11

χt+12

χt+13

⎡

⎣

⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥

=χt+1

xt xt+1

1

2

3

1

2

3

4

Quando il sistema è incerto, non sappiamo con che probabilità un dato stato si realizzi, ma solo se può realizzarsi o meno, cioè se è raggiungibile. Descriviamo gli stati raggiungibili tramite un vettore χt booleano .


D0.6

0.4

0

D1

1

0

Sistema stocastico e sistema incerto

Sistema con disturbo stocastico (sistema stocastico)

Sistema con disturbo incerto(sistema incerto)

t t+1

1

2

3

1

2

3

t t+1

1

2

3

1

2

3

G

0

0.8

0.2

0

1

G

1


S1

0

0

1

0

1

D

0

0

1

G

Fissata la politica tm

Le transizioni possibili

t t+1

1

2

3

1

2

3

4

xt+1 = 1 xt+1 = 2 xt+1 = 3

xt = 1 ut = S 1 0 0

ut = D 1 1 0

ut = G 0 1 1

xt = 2 ut = S 1 0 1

ut = D 1 0 1

ut = G 1 1 1

xt = 3 ut = S 0 1 0

ut = D 0 0 1

ut = G 0 0 1

xt = 4 ut = S 1 1 1

ut = D 0 0 1

ut = G 1 0 1

ut = S 1 0 0

ut = D 1 0 1

ut = G 0 0 1

ut = G 1 0 1

1

0

1

G


t tW m

1 0 0

1 0 1

0 0 1

1 0 1

ij it t tw m x

Le transizioni possibili a politica data

xt+1 = 1 xt+1 = 2 xt+1 = 3

xt = 1 ut = S 1 0 0

ut = D 0 1 1

ut = G 1 0 1

xt = 2 ut = S 1 0 1

ut = D 1 0 1

ut = G 1 1 1

xt = 3 ut = S 0 1 0

ut = D 0 0 1

ut = G 0 0 1

xt = 4 ut = S 1 1 1

ut = D 0 0 1

ut = G 1 0 1

ut = S 1 0 0

ut = D 1 0 1

ut = G 0 0 1

ut = G 1 0 1

Fissata la politica tm


1 0 0

1 0 1

0 0 1

1 0 1

Le transizioni possibili a politica data

t tW m

1 1 1( )( )

1 se ( , ) : ( , ( ), ) ( )

0 altrimenti

i i j i iij i t t t t t t t t t t tt t t

x m x x f x m xw m x

ij it t tw m x


1 1 11 1 2 21 2 3 31 3 4 41 41 max , , ,t t t t t t t t t t t t t t t t tw m x w m x w m x w m xχ χ χ χ χ



La funzione di transizione

13w23w

33w43w

11w21w

31w

41w

χt =

χt1

χt2

χt3

χt4

⎡

⎣

⎢⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥⎥

χt+11

χt+12

χt+13

⎡

⎣

⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥

=χt+1

xt xt+1

1

2

3

1

2

3

4

12w

32w

22w

42w

1 0 0

1 0 1

0 0 1

1 0 1

t tW m

1

1

0

1

1

1

0

1

0

0

0

0

0

0

0

0

0

1

1

1

0

1

1

1



χt+1

T =χt

TÄ Wt(mt(⋅)) χt+1

T =χt

TÄ Wt(mt(⋅))

χt =

χt1

χt2

χt3

χt4

⎡

⎣

⎢⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥⎥

χt+11

χt+12

χt+13

⎡

⎣

⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥

=χt+1

xt xt+1

1

2

3

1

2

3

4

13w23w

33w43w

1 0 0

1 0 1

0 0 1

1 0 1

t tW m

1

1

0

1

1

1

0

1

0

0

0

0

0

0

0

0

0

1

1

1

0

1

1

1



L’operatore effettua una moltiplicazione riga per colonna tale che:

1 ( )max ( )j i ij it t t t t

iw m xχ χ

quando lo stato x j è raggiungibile al tempo t+1,

quando cioè esiste almeno un disturbo εt+1 che realizza. la transizione da almeno uno stato xi, raggiungibile al. tempo t, allo stato xj in presenza del controllo . mt

(xti )

χt1j 1

cioè:

( ( ))t tW m 1T Tt tχ χ


3

2

1

4

t= 0

1

2

3

t=111 12 130 0 0

21 22 230 0 0

0 31 32 330 0 0

41 42 430 0 0

w w w

w w wW

w w w

w w w

1

1

0 0

0

0 1

1

10

0 1

Esempio


3

2

1

4

t= 0

1

2

3

t=111 12 130 0 0

21 22 230 0 0

0 31 32 330 0 0

41 42 430 0 0

w w w

w w wW

w w w

w w w

1

1

0 0

0

0 1

1

10

0 1

1

2

3

t=2

11 12 131 1 121 22 23

1 1 1 131 32 331 1 1

w w w

W w w w

w w w

1

1

1 0

1 0

0 1 1

Esempio1( ) :legge di controll mo fissata


Esempio

χ0

1

0

0

0

3

2

1

4

t= 0

1

2

3

t=1

1

2

3

t=2χ1

?

?

?

1 0 0 0 0( )max ( )j i ij i

iw m xχ χ

1 0 0 0T T W mχ χ €


0 1 0 0

0 0 0 0 0max [ ] =

1 0 0

1 0 1

0 0 1

1 0 1

10 1 0 0

1 0 1

0 TVettore χ0 Matric We

1 TVettore χ

χ1

T χ0TÄW0 m0 ⋅

Esempio

χ0

1

0

0

0

0 1 0 0 1

χ1

0

1

13

2

1

4

t= 0

1

2

3

t=1

1

2

3

t=2


1 0 1

0 0 1 1

11 0 1

1 1 1

1 TVettore χ1W Matrice

2 TVettore χ

χ2

T χ1TÄW1 m1 ⋅

Esempio

χ1

0

1

13

2

1

4

t= 0

1

2

3

t=1

1

2

3

t=2

1 0 0 1max [ ] =

1 1 0

1 1 0

0 1 1

χ2

1

1

1




• Analogie col problema di Laplace


Analogie

Si notino le analogie con il problema di Laplace

•Vettore delle probabilità t

•Matrice di transizione Bt

•Vettore degli stati raggiungibili

•Matrice di transizione Wt

E’ un sistema non lineare il cui stato è Ttχ e il controllo è mt(•).

χt

χ t+1T = χ t

TWt (mt (⋅)) t+1

T = π tT B t (mt (⋅))

LaplaceLaplace WaldWald


Analogie

Si osservi in particolare che t può essere pensato come una quantizzazione booleana di t. Così pure χt è una quantizzazione di πt.

t

0.50.20.30.0

χt

1110

Gli 1 individuano i valori realizzabili o raggiungibili.

t

1011

φt

0.10.00.70.2




• Calcolo dei singoli obiettivi


Calcolo dei singoli obiettiviorizzonte finito

Si noti che la formula esprime l’ovvio fatto che il massimo costo è il massimo tra i costi massimi di tutte le transizioni che possono realizzarsi e i costi negli stati finali raggiungibili.

• È sufficiente simulare il sistema incerto per ottenere la traiettoriaχ0 χ1 ,…, degli insiemi raggiungibili.

t{ }t=1,...,h

max i j (p* )⎡⎣

⎤⎦=max t=0,...,h−1

max χtTÄ max

t+1

gtj*

( )⎡⎣⎢

⎤⎦⎥

χhTÄ Gh

j*⎡⎣

⎤⎦

⎧

⎨⎪

⎩⎪

⎫

⎬⎪

⎭⎪

x0i• L’insieme χ0 è l’insieme in cui è raggiungibile il solo stato

• Il valore del j-esimo obiettivo in un problema su orizzonte finito è:


3

4

2

5

3

Esempio a

10t

3

4

6 3

1

0

1 0 1

1 1 0

0 0 1

W

1

1 1 0

1 1 0

0 1 1

W

0

0 1 0Tχ

2

0 0 1

1 0 1

1 0 0

W

1 1 1 0Tχ 2 1 1 0Tχ 3 1 0 1Tχ

3

5

9

24

6

2


32

4

2

5

3

Esempio b

5

3

9

24

6

1

5

4

9

0t

3

4

6 3

1

t{ }t=1,...,h

m ax i j p*⎡⎣ ⎤⎦max t0...h−1m ax χt

TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh

TÄ Ghj*⎡⎣ ⎤⎦

⎧⎨⎩

⎫⎬⎭


3

Esempio c

5

3

9

24

6

1

5

4

9

0t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h


TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh


⎧⎨⎩

⎫⎬⎭

1 0 1⎡⎣ ⎤⎦Ä594

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥5

55

χh



Esempio d

5

3

9

24

6

1

5

4

9

30t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h


TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh


⎧⎨⎩

⎫⎬⎭

55

1

*maxt

jtg

6

3

3

0 1 0⎡⎣ ⎤⎦Ä633

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥3

33

max*0

4 6

3 1

3 3

jg

11 1

2


Esempio e

5

3

9

24

6

1

5

4

9

30t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h


TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh


⎧⎨⎩

⎫⎬⎭

55

1

*maxt

jtg

9

4

6

1 1 0⎡⎣ ⎤⎦Ä946

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥9

33

max

99

*1

3 9

2 4

6 5

jg

21 2

2


Esempio f

5

3

9

24

6

1

5

4

9

30t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h


TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh


⎧⎨⎩

⎫⎬⎭

55

1

*maxt

jtg

4

5

3

1 1 0⎡⎣ ⎤⎦Ä453

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥5

33

max

99

55

*2

4 4

2 5

3 3

jg

31 3

2


Esempio g

5

3

9

24

6

1

5

4

9

30t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h


TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χh


⎧⎨⎩

⎫⎬⎭

5533

99

55

t0...h−1m ax χt

TÄ maxt+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟

99


Esempio h

5

3

9

24

6

1

5

4

9

30t

3

4

6 3

1

2

4

2

5

3

t{ }t=1,...,h

max i j (p* )⎡⎣ ⎤⎦=max t=0,...,h−1max χt

TÄ maxt+1

gtj*

( )⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ , χh


⎧⎨⎩

⎫⎬⎭

5533

99

55

max

t0...h−1max χt

TÄ maxt+1

gtj*

( )⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ , χh


⎧⎨⎩

⎫⎬⎭

Si comprende, quindi, che la formula esprime l’ovvio fatto che il massimo costo è il massimo tra i costi massimi di tutte le transizioni che possono realizzarsi e i costi negli stati finali raggiungibili.

9999


Calcolo dei singoli obiettiviorizzonte infinito

Ne consegue che non è necessario simulare il sistema su un orizzonte infinito, ma è sufficiente determinare il ciclo 0 1 1, ,..., Tχ χ χ

degli insiemi raggiungibili.

Il massimo costo per passo del j-esimo obiettivo è quindi dato dalla seguente formula:

Se l’orizzonte temporale è infinito e il sistema è periodico, è possibile dimostrare che, sotto ipotesi molto ampie, la traiettoria ... converge in tempo finito a un ciclo 0 1 1, ,..., Tχ χ χ 0 1,χ χ

t{ }t=1,2,...

m ax i j p* ⎡⎣

⎤⎦

t=0,...,T−1m ax χt

T m axt+1

gtj*⎛

⎝⎜

⎞⎠⎟

⎡⎣⎢

⎤⎦⎥




• Rappresentazione delle traiettorie


x

tT1 20

• Per ogni passo temporale ho un insieme di stati raggiungibili,

• Tutte le traiettorie saranno contenute all’interno del tubo• In questo modo, dato che il tubo comprende tutti e soli gli stati

raggiungibili, è come se si fosse eliminata l’incertezza.

χ0 =χT χ0

che nel complesso costituiscono un “tubo”

N.B.: Si comprende che il sistema controllato avrà una prestazione garantita (prestazione massima certa):il caso peggiore in tutto il tubo.


Leggere

MODSS Cap. 18

VERBANO Cap. 8


Si noti la dualità

{ }

11,2,...

1* ' * ' *

0

Gt tt h

hj j j

t t h ht

E i p E g

LaplaceLaplace

t{ }t=1,...,h

m ax i j p*⎡⎣ ⎤⎦max t0...h−1m ax χ 'tÄ max

t+1

gtj*

⎡⎣⎢

⎤⎦⎥

⎛⎝⎜

⎞⎠⎟ χ 'hÄ Gh

j*⎡⎣ ⎤⎦⎧⎨⎩

⎫⎬⎭

{ } 1,2,...t t h

E

{ } 1,...,

maxt t h

+

max

1

0

h

t

0,..., 1max

t h

1t

E

1

maxt

WaldWald

• Vettore di stato

Documents

R. Soncini Sessa, MODSS, 2004 1 S27 Stima degli effetti (Wald) Rodolfo Soncini Sessa MODSS Copyright 2004 © Rodolfo Soncini Sessa