Upload
others
View
40
Download
0
Embed Size (px)
Citation preview
Design and analysis of computer
experiments
29/11/2012
Bertrand Iooss
Uncertainty management - The generic methodology
Venez’ course 2012 – Design and analysis - B. Iooss 2
Main objectives of sensitivity analysis
� ���������������� ������������������������� �� ���������������� ���
� ������������ ������������������������ ���� ������� ���� ���������������������������� �����
�����������������������������������
� ����� ���������������������������������
� ���������������� ��������!�����
�������� �������� �������
Venez’ course 2012 – Design and analysis - B. Iooss 3
�������� �������� �������
� ���������������������
� ���� ��������������������� ������� ��������� ����"����������#���������������������������
� �������������� �������������������
Outline
������������ �������� ������ �����������������
$% ������� �������������������
Venez’ course 2012 – Design and analysis - B. Iooss 4
Typical engineering practice : One-At-a-Time (OAT) design
X2
P2P3
Venez’ course 2012 – Design and analysis - B. Iooss 5
�� ��� !�"
#$%� ���������� �������������������& ��
'���� ��������� "(�����������)�����������)*�� �����)
+������ �������� ����������������,�� ����������������-
X1
P1 P2
Model exploration goal
.#$+"����� ���������������������������� ���������
&���������������"����������������������' ������!� (���������� �� ������������������������
/�� � ������� ������ �����������������������
����������"��������� )*�� ��������� Ex: p =2, n =3
N =9
p = 10, n=3
N = 59049
Venez’ course 2012 – Design and analysis - B. Iooss 6
%��������(��������������������0������ ������1 ���� ��� 2��������������+������������������������,�������������������
0.0 0.2 0.4 0.6 0.8
0.2
0.4
0.6
0.8
1.0
V1
V2
0.2 0.4 0.6 0.8
0.2
0.4
0.6
0.8
V1
V2
Monte Carlo Optimized design
'�"� 34( 3�5
N = 59049
Objectives
-��� ��� ��.������ � �� ������� "��� ������ ����� ��� ����� ��� "����� ����� ����������� ���� ���� �����!��� "� "��� �� ������ ��� �"� ����"��� ���������/
� 0� ����� ��� ����� ���� ��� ����� ���� �� ����� �� ������� ������������� � ��� ����� �������
� 0� ����� ���� ��� ����� ���� �������� � ����� "��� ������ ���������� ���������%
Venez’ course 2012 – Design and analysis - B. Iooss 7
0���� ���� "� ���1 ��� ����� "���� ����� ��� ' ��� �������� ( � �������� ����
���� #������/
� 2�" �� �� ��� ��� ' ��� ( 3
Exploration in physical experimentation
Design of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible
�������� ��� �������� �����
/�� ���� ������
����������� ���������� ����������6�������� ��������47
�������� ������� �����
'��������� ����� ������� �� �����&�������������� �������
'�������"
Venez’ course 2012 – Design and analysis - B. Iooss 8
����������� ���������� ����������
4���������� � ��������������
4���������� ���������������������
�����������������������
+����� ��������������"��� ������
2��������������� ����������
���� ������ ��������� ����������� ���������������
parameter 1
parameter 2
parameter 3
6�������� ��������47
6 ������������ ��������47��
Space filling designs
+������� �������� ������������������������������
%����� ��������������������� �� ������������������ �����������������
0������ ����������� ����������������%
0.6
0.8
1.0
V2
0.4
0.6
0.8
V2
+�����+�����������������+�����+�����
+����+����5������5������
Venez’ course 2012 – Design and analysis - B. Iooss 9
6������/ +�����#�����
0"���������������/7% �����������������"�����������/����������������8$% 9�� ��������������� ��������������������������
0.0 0.2 0.4 0.6 0.8
0.2
0.4
V1
V2
0.2 0.4 0.6 0.8
0.2
0.4
V1
V2������������
+�����+������+�+��+�+�
5������5������ ���� �����+5 ��+5 �
� ������������ �: /������!� ��������������������"��� ��������� ��������� ������������ ��������
����������;<�7=� ��������� �� ��� �����������
),(min),( re whe
),(max),(maxmin
)0(
)0(xxdDxd
DxdDxd
Dx
MIxxD
∈=
=[ Johnson et al. 1990 ]
[ Koehler & Owen 1996 ]
Geometrical criteria (1/2)
Venez’ course 2012 – Design and analysis - B. Iooss 10
*>?��� ������������������ �������� �� ��� �:
• p = 1 ; Xi = (2i-1)/(2N) ; φmM = 1 / 2N
• p > 1 : sphere recovering
Minimax design
Venez’ course 2012 – Design and analysis - B. Iooss 11
8&&&��������������������9
Geometrical criteria (2/2)
- Mindist distance: ( L2 norm for example)
Maximin design ΞNMm :
maximize minimal distance between two points of the design
),(min)( )2()1(
, )2()1(xxd
Nxx
N
Ξ∈=Ξφ
),(min),(minmax )2()1(
,
)2()1(
,Mm
)2()1()2()1(xxdxxd
NNN xxxx Ξ∈Ξ∈Ξ=
Venez’ course 2012 – Design and analysis - B. Iooss 12
- …
• p = 1 ; Xi = (i-1)/(N-1) ; φmM = 1 / (N-1)
• p > 1 : sphere packing
Maximin design
Venez’ course 2012 – Design and analysis - B. Iooss 138&&&��������������������9 8&&&����!���������9
Space filling measure of a design: the discrepancy������� ����������������������"������������������ ��������@������������ ��������������
⇒ ������� ��������� ��������� ������
A������������������������/,�����������"������������� �������������������������"�����������������
×××=∈ p
pttttQtQ 21 [,0[[,0[[,0[)(,[1,0[)( �
Venez’ course 2012 – Design and analysis - B. Iooss 14
4�"���������������������������������
�������� �������������
∏=∈
−=
×××=∈
p
i
i
tQ
tQ
p
tN
ND
ttttQtQ
p1
)(
[1,0[)(
21
sup)(disc
[,0[[,0[[,0[)(,[1,0[)( �
Link with the integration problem
( )
( ) ( )
=
=
=
=
∑
∫
N
x
xfN
I
dxxfI
p
Ni
i
N
i
i
N
p
1)(Var
[1,0[in points random of sequence a with
)(1
: Carlo Monte
)(
...1)(
1
)(MC
[1,0[
Venez’ course 2012 – Design and analysis - B. Iooss 15
( ) ( )
=⇒==Ε
NO
N
NIII NN
1)(VarVar; MCMC ε
A���������������:�!����;��&!���0������-"
-������"�����������#����� �#��������,�����#������/
-���B1��"�������/+����@�#�����
( )
=
N
NO
pln
ε
)(disc)( DfV ×≤ε
( )
( )2/1
2
[1,0[ 1)(
*2
1)(
[1,0[
*
))(Volume(11
))(Volume(11
sup
)(
)(
−=Ξ
−=Ξ
∫ ∑
∑
=∈
=∈
∈
tt
t
tx
txt
dQN
D
QN
D
p
i
i
p
N
iQ
N
N
iQ
N
L2 discrepancy
Several definitions, depending on considered norms and intervals
Choice allowing computations : L2222 discrepancy
L2 discrepancy at origin :
[ Hickernell 1998 ]
Venez’ course 2012 – Design and analysis - B. Iooss 16
Missing property: taking into account uniformity of the point projections On lower-dimensional subspaces of [0,1[p
=> Modified L2 discrepancies
( )
{ }
)in scoordinate of cube(unit on )( of projection )( and
,...,1with
))(Volume(11
Ø
2
1)(2 )(
uCQQ
pu
dQN
D
u
u
u C
u
N
iQ
N
uu
iu
tt
tttx
=
⊂
−=Ξ ∑ ∫ ∑
≠ =∈
Discrepancy computation in practice
� �������+4����� ��������������"������������������<�
� /��� ��+4����� ��������������"��������������������� ������������
Venez’ course 2012 – Design and analysis - B. Iooss 17
� ����� �� +4����� ����� ��������� "��� �������� ���' ���� (������� ������������
∑∏
∑∏
= =
= =
−−−+−++
−−−+−
=
N
ji
p
k
j
k
i
k
j
k
i
k
N
i
p
k
i
k
i
k
p
xxxxN
xxN
D
1, 1
)()()()(
2
1 1
2
)()(2
2
1
2
1
2
1
2
1
2
11
1
2
1
2
1
2
1
2
11
2
12
13)(disc
Sobol’sequence vs. Random sample vs. regular grid
;5���/C�������1��$<7<=
Venez’ course 2012 – Design and analysis - B. Iooss 18
Example - N = 150 - Dimension = 8
Sobol Sobol scrambling Owen
Venez’ course 2012 – Design and analysis - B. Iooss 19
Example - N = 150 - Dimension = 8
Halton
Venez’ course 2012 – Design and analysis - B. Iooss 20
Pathologies on 2D projections
Halton
Venez’ course 2012 – Design and analysis - B. Iooss 21
Important property: robustness in terms of subprojections
���� ����������� ������� �<�����"� ��������������/B ��������������������7 *������� �� �����������⇒⇒⇒⇒ �� ==�B ���������������������$ *������������ �� �����������������⇒⇒⇒⇒ �4 ==�
0����"�����+5 "����1������������B �������������������"B�����������������������������/�����������@*7������@*$�%%%�
• �@*7⇒ 42+���������7 ���.���������������
Venez’ course 2012 – Design and analysis - B. Iooss 22
���� ���
• �@≥ $:�������� ��������������� ���4$B��������������������1������������
�����.������
:��������������������������������������������������
Latin Hypercube Sample (LHS)
> ��� ��" ?��� �� �@��������� ���
> ������" � �� �������( �����⇒⇒⇒⇒ +;�,��(-
������ ���� ��������(��� ����%�!� ����������� �� ����
'������" �34�(3A
��������������������� ���� ������� �������
[ McKay et al. 1979 ]
Venez’ course 2012 – Design and analysis - B. Iooss 23
'��� ����� �� ��!� ��� ������������ �� �����⇒⇒⇒⇒ '��� ����� ���������� �� ��� ���������B��4����( C
'������" �34�(3A
Algorithm of LHS(p,N) – Stein method
ran = matrix(runif(N*p),nrow=N,ncol=p) #tirage de N x p valeurs selon loi
U[0,1]
x = matrix(0,nrow=N,ncol=p) # construction de la matrice x
for (i in 1:p) {
idx = sample(1:N) #vecteur de permutations des entiers
{1,2,…,N}
P = (idx-ran[,i]) / N # vecteur de probabilités
x[,i] <- quantile_selon_la_loi (P) }
'������" �34�(3�5�<� D?85��9�<4 D(,5��-
Venez’ course 2012 – Design and analysis - B. Iooss 24
'������" �34�(3�5�<� D?85��9�<4 D(,5��-
+������������/ �������������������� ����7<<<�� �� �����42+%0��������������"���������������������φ (.) �' ���� ������ (�
D90/���������� 42+�����/
���������������!��������� ���/������������ φ(.) ���������������������/
Optimisation of LHS => Space-filling LHS
'������"+;�,4��E-
������ ��� �� ( )pN!
[ Park 1993; Morris & Mitchell 1995 ]
Venez’ course 2012 – Design and analysis - B. Iooss 25
7% :������������� �������42+�����������������������0
$% -����0 ></7% &�����������������" � ������������� $�������������������
$%�����������" "��������
E%�������0
E% +������������*>������������������
Ξ−Ξ− 1 ,
)()(expmin new
T
φφ
Examples of optimized LHS
F����������"��������������� ���������42+�
0.6
0.8
6������/�*$G ) *7H
Venez’ course 2012 – Design and analysis - B. Iooss 26
�������42+ 4�""���B������ 5�����������/����������42+ +�����#�����
0.2 0.4 0.6 0.8
0.2
0.4
Summary on the design of numerical experiments
Goal: Sample a high dimensionam space in an « optimal » manner (obtain the maximum of information on the behaviour of the outputZ / X є Rp)
&������/ ����������������������,���������� ����������
7%'+���� ������(���������������������/
B D�������������������������"�������������������������8�
Venez’ course 2012 – Design and analysis - B. Iooss 27
B D��������������� ��� ��������������� ��������������������
$%&�������� ��� ������.���������������������������������4�������������������42+�
E%:����������������7���$
Outline
7% ����� �������������������
4� $����������� �������� ������ �����������������
Venez’ course 2012 – Design and analysis - B. Iooss 28
Sensitivity analysis notions
� ����������� ���������
���������I���������J�����������I���������I������ ����������� ����������������� �� ������
� /�� ������3��������������� ����� ���������
&��������I����������������@������������@����I������������������������@������������������������@���I�K����������
iXY ∂∂
)( i
i
XX
Yσ
∂
∂
Venez’ course 2012 – Design and analysis - B. Iooss 29
���@������������������������@���I�K����������
���� ����
�
����
Main objectives of sensitivity analysis
� ���������������� ������������������������� �� ���������������� ���
� ������������ ������������������������ ���� ������� ���� ���������������������������� �����
�����������������������������������
� ����� ���������������������������������
� ���������������� ��������!�����
�������� �������� �������
Venez’ course 2012 – Design and analysis - B. Iooss 30
� ���������������������
� ���� ��������������������� ������� ��������� ����"����������#���������������������������
� �������������� �������������������
�#�������� �������*������������ ����������
%� �����������&� �"
7% +��������/B ������������� �����������B ��������������� ������������������#��������� ���������
$% L������������������ �������� ������/
Overall classification of sensitivity analysis methods
Venez’ course 2012 – Design and analysis - B. Iooss 31
$% L������������������ �������� ������/B �����������M���������������M���1B �������������B ������������������������������+������B �����������/��������������������������
E% ��������������� ����������B ��������������#��������%M��������������B ���������
X1
X3
X2
Y
Screening with n < p (supersaturated designs)
�����������>>7<����������������������������
?�.������/ ������������������������ �����
2�������/G )������ �� ����������NN������������ �����
G ��������� �������������������������"��������
G C��"������ ������������� ������������������M���������
'������"����������0���������� ������
Venez’ course 2012 – Design and analysis - B. Iooss 32
FGXXXX1111
XXXX2222
XXXX3333
XXXX4444 XXXX………… XXXXpppp
4 ��
F�
Screening with n < p (supersaturated designs)
�����������>>7<����������������������������
?�.������/ ������������������������ �����
2�������/G )������ �� ����������NN������������ �����
G ��������� �������������������������"��������
G C��"������ ������������� ������������������M���������
'������"����������0���������� ������
Venez’ course 2012 – Design and analysis - B. Iooss 33
FGXXXX1111
XXXX2222XXXX3333
XXXX4444
XXXX…………
XXXXpppp
XXXX…………
�
G
4 �� � �
F�
F���FG≠≠≠≠F�XXXX1111
XXXX2222
XXXX3333
XXXX4444 XXXX………… XXXXpppp
Screening with n < p (supersaturated designs)
�����������>>7<����������������������������
?�.������/ ������������������������ �����
2�������/G )������ �� ����������NN������������ �����
G ��������� �������������������������"��������
G C��"������ ������������� ������������������M���������
'������"����������0���������� ������
Venez’ course 2012 – Design and analysis - B. Iooss 34
FG
�
G
4 �� � �
F�
F�
XXXX1111XXXX2222
XXXX3333XXXX…………
��FG≠≠≠≠F� ��F� DFG HH
(���� �� ��" D� I4
$��&������<�
XXXX1111XXXX2222
XXXX3333
XXXX4444 XXXX………… XXXXpppp
XXXX1111XXXX2222
XXXX3333
XXXX4444
XXXX…………
XXXXpppp
XXXX…………
∆X2
Screening without hypothesis on function: Morris’ method
• ������!������ ���������
P1
� )����O7����������
� ?�0�?��B��B�B0����
Venez’ course 2012 – Design and analysis - B. Iooss 35
X1
� ������������ �������������� ��� �����������
P2P3
X2
4
3
2
� ?�0�������������������������/�*�P��O7������������
� :��������B����� ����������������� ���
Morris’ method
Venez’ course 2012 – Design and analysis - B. Iooss 36
X1
1
5
� +���������������/
Morris: sensitivity measures
� ��������� �������������/
:�������������� ���������� ������������ ����������������������������
� ��������� ������ ������
Venez’ course 2012 – Design and analysis - B. Iooss 37
� ��������� ������ ���������� �������� �������/
��������������� �� ������ ���������B������ � ���"��������������������/
� � ��������Q� *>���������� ���� ��� �������������*>����������������������������"�������"��������������
Morris : example
$< �����$7<���������� A�������P������
������������"���E
3
Venez’ course 2012 – Design and analysis - B. Iooss 38
*µ
σ
,����/������������ �������� �����
������������"���E�����/
7% )���������� ���$% 4������ ���E% )��������� ���
���M��"��������������
1 2
Example : fuel irradiation computation in HTR
,������������04�+�,6��/���������� ���20� ���� �������������������������������������
)����������J�� ����,��������������#��������,��������������#������,��������+�������
,�����������������/ ������� ��������
(���� ���� ������������ ����� "�5J ���5�5 K
< 1µµ < 1µµ < 1µµ < 1µµ φφφφ
Venez’ course 2012 – Design and analysis - B. Iooss 39
,�����������������/ ������� ���������������������������������
0�� ������� ������������������������ ������� ���������������1������:&�,�+�,�?&�,�
?����������������������������� ���������������/��������������������������������������
� ����� "�5J ���5�5 K
3 uncertainty types for the inputs� 7<���������� ��������������� ������������������1���8�
+���� ����������������A����������������
� R���������� ������������������������8�:�������;�������= ��� ��������������
� $S�����������"� �������� ������������ ����8�6�����.������� ����������������������T9;<%UR�7%<R=�
Venez’ course 2012 – Design and analysis - B. Iooss 40
'������"+�&��
>�/�����������
Results of Morris
4������������������������������1��������������������������+���������������� ���
:� ������� ��������
�*VE������$<������������*SH<��������������T7��*>�����*7V�
Venez’ course 2012 – Design and analysis - B. Iooss 41
:� ������� ������������ ���������"� &�,
,��������/������������������#������������ ���������������������������������������������������� �����
9� ����������������� �������������� ����������
�#�������� �������*������������ ����������
%� �����������&� �"
7% +��������/B ������������� �����������B ��������������� ������������������#��������� ���������
$% L������������������ �������� ������/
Overall classification of sensitivity analysis methods
Venez’ course 2012 – Design and analysis - B. Iooss 42
$% L������������������ �������� ������/B �����������M���������������M���1B �������������B ������������������������������+������B �����������/��������������������������
E% ��������������� ����������B ��������������#��������%M��������������B ���������
X1
X3
X2
Y
Sensitivity analysis for one scalar output
+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�
&�������������/�����������!���������� ����/�����������
�����1/ �������������,�����������#���B�����,������������������������
Venez’ course 2012 – Design and analysis - B. Iooss 43
Graphial representation : scatterplots
YX
σσρ
),cov(=
0.000.000.000.00 0.020.020.020.02 0.040.040.040.04 0.060.060.060.06 0.080.080.080.08 0.100.100.100.10
00 0022 22
44 4466 66
88 881
01
01
01
0
ι3ι3ι3ι3
π2
3π
23
π2
3π
23
( ��
. ����#�����&��� ����������������
'������"(3755
���� �������� ��� ���� ����������
Venez’ course 2012 – Design and analysis - B. Iooss 44
YXσσ
yx
N
i
ii
ss
yyxxN∑
=
−−
= 1
))((1
ρ̂
Flood model - Scatterplots – Output S
L*����� ��"����TA�������;R<<�E<<<=
C* ���������� ������T��������;7R�R<=
X�*��"��������������������T������������;VU�R7=
2�*��1�������T������������;Y�U=
,�*���1������T������������;RR�RH=
Venez’ course 2012 – Design and analysis - B. Iooss 45
�����,���������G ) *7<<
Flood model - Scatterplots – Output Cp
�����,���������G ) *7<<
Venez’ course 2012 – Design and analysis - B. Iooss 46
�@� � �&���!"����� ��� �� ����������&�������� ���������������� ��� �������*>����� �������������������
Sensitivity analysis for one scalar output
+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�
? Linear relation ?
#��
��Z�
(� ? Monotonic relation ?
&�������������/�����������!���������� ����/�����������
L��������������������������������������;+�����������%<<�2���������%<H=
Venez’ course 2012 – Design and analysis - B. Iooss 47
#��
Linear regression between Xi
and Y
Regression coefficients
���������������� Sobol’ indices
(�
#�� (�
Regression on ranks
��ZP�
Sensitivity indices in case of linear inputs/output relation
:�����������������������
+�����/ � �����!������
� +�,�����/
+���� β ����������������� ���������� W �� ��� Q
∑=
+=p
i
ii XY1
0 ββ
( ))Var(
)Var(:
Y
XXSRC i
ii β=
( )Y,X
( )pX,X ...,1=X
Venez’ course 2012 – Design and analysis - B. Iooss 48
+���� β� ����������������� ���������� W �� ��� Q�
� +�,�������������������������������� �������&������
� ��������� �����������������
0��������������������� �Z /
� -����� *>������������������� +�,
��
( )
( )∑
∑
=
=
−
−
−=n
i
i
n
i
ii
YY
YY
R
1
2
1
2
2
ˆ
1
( )∑=
=p
i
iXR1
22 SRC
Flood model - Output S
�����,���������G ) *7<<
Venez’ course 2012 – Design and analysis - B. Iooss 49
E7[ 7R[7S[ $U[ H[
+����������������+�,$�
0����������������Z*<%UU�
+�,��� ���������� ������ �����#������������������������
Sensitivity analysis for one scalar output
+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�
? Linear relation ?
#��
��Z�
(� ? Monotonic relation ?
&�������������/�����������!���������� ����/�����������
L��������������������������������������;+�����������%<<�2���������%<H=
Venez’ course 2012 – Design and analysis - B. Iooss 50
#��
Linear regression between Xi
and Y
Regression coefficients
���������������� Sobol’ indices
(�
#�� (�
Regression on ranks
��ZP�
)Var(
)]Var[E(
Y
XYS
i
i=
&��������� ��T 9;?�7= ���*7�8��� ����� ���������������
pLf ]1;0[)()( 2 ∈∈ xxx
( ) ( ) ( )pp
i ij
jiij
p
i
ii xxxfxxfxfffy ,...,,...,)( 21,...,2,11
0 ++++== ∑∑∑>=
x
"���
Functional decomposition
:� ������ ������������������
D90��������� ������������� /sjiiii iijdxxxf
ss,...,0),...,( 1... 11
=∀=∫
Venez’ course 2012 – Design and analysis - B. Iooss 51
&��������� ��T 9;?�7= ���*7�8��� ����� ���������������
6������/
( ) )E(0 ydff == ∫ xx
( ) 00 )|E()( fxyfdxfxf iiii −=−= ∫ −x
( ) 0)|E()|E(),|E(, fxyxyxxyxxf jijijiij +−−=
0),(;2
1)(;
2
1)(;1
]1;0[~;]1;0[~;),(
21122221110
212121
=−=−==
+=
xxfxxfxxff
UxUxxxxxf
22121 34),( xxxxf +=
]21;21[, 21 −∈Uxx
3
1)34()(
2/1
2/1
2/1
2/1212
210 ∫ ∫− −
=+== dxdxxxyEf
3
14)34()|()( 2
1
2/1
2/122
210111 −=+=−= ∫− xdxxxfxyExf
00 =f
2111 4)( xxf =
3)( xxf =
Another example
Venez’ course 2012 – Design and analysis - B. Iooss 52
34)34()|()( 1
2/12210111 −=+=−= ∫− xdxxxfxyExf
222 3)( xxf =
0),( 2112 =xxf
�����������
20222 3)|()( xfxyExf =−=
0),( 2112 =xxf
Sensitivity indices without model hypotheses
�������������������"
V
)()()()(Var 121
YVYVYVY p
p
ji
ij
p
i
i �� +++= ∑∑
<=
5����������)?��;6 ����+����S7=����%� �����������Q� �/
[ ] ... , )E(Var
)]E([Var)( where
jijiij
ii
VVXXYV
XYYV
−−=
=
Venez’ course 2012 – Design and analysis - B. Iooss 53
� 5�����������������������/
� +�������������������������/
� %%%
��
)Var(Y
VS i
i=
)Var(Y
VS
ij
ij =
22121 34),( xxxxfy +== ]21,21[, 21 −∈Uxx
3
1)(0 == yEf ( )[ ]
106.0883.0
80.0111 ===
V
xfVarS
On a vu :
Another example
Venez’ course 2012 – Design and analysis - B. Iooss 54
3
3
14)|()( 2
10111 −=−= xfxyExf
20222 3)|()( xfxyExf =−=
0),( 2112 =xxf
883.01
V
( )[ ]894.0
883.0
75.0222 ===
V
xfVarS
�����������
Graphical interpretation
2 4 6 8 10 12 14
02
46
810
p23
0 50 100 150
02
46
810
p23
5��������+����@��������������������������� �����������������������������������������������������
)��������
2��������
Venez’ course 2012 – Design and analysis - B. Iooss 55
2 4 6 8 10 12 14
per1
0 20 40 60 80
02
46
810
kd1
p23
0 50 100 150
kd2
0.00 0.02 0.04 0.06 0.08 0.100
24
68
10
i3
p23
+���������
1≤∑i
iS
1=∑i
iS
��"��
�������������
∑− S1 ���������������� ��������������"�����������
k
i j k
ijk
i j
ij
p
i
i SSSS ,...,2,11
...1 +++= ∑ ∑ ∑∑ ∑∑=
Sobol’ indices properties
Venez’ course 2012 – Design and analysis - B. Iooss 56
∑−i
iS1 ���������������� ��������������"�����������
6������/ �*V����V������+��H������+�.�V������+�.1�7������+�.1�
A���������/$�B7������������������
0������������������/
;2�����+�������7UUH=
i
j kj
ijkijiTi SSSSS ~,
1... −=+++= ∑ ∑
Flood model
Venez’ course 2012 – Design and analysis - B. Iooss 57
Sobol indices computation
� :����� ��Q� �7� ��������������/
� 5����������� ����������������������/
)Var(1 and
)Var(~
Y
VS
Y
VS i
Ti
ii−==
Venez’ course 2012 – Design and analysis - B. Iooss 58
� 5����������� ����������������������/
( ) ( )( ) [ ])(),(CovEE)]Var[E()( '~,~,
22
iiiiiiiiii XXfXXfdXXYdXXYXYYV =−== ∫∫
[ ]),(),(Cov)]Var[E()( ~'
~,~~ iiiiii XXfXXfXYYV ==
XXX ofcopy t independenan ' and )(Let ~, ii XX=
Direct estimation via Monte Carlo
$�%�%�%����� /
���������������� ���������/
,���������� �����������������/
:�����7� ����� /��� *� ��O7�
( ) ( )∑∑==
=−=n
k
kn
k
kf
nfff
nYV
1
)(0
1
20
2)( 1ˆ avec ˆ1)(ˆ XX
( ) ( ) 20
)()(1
)()(1
)(1
)()(1
)()(1
)(1
1
',...,',,',...,',...,,,,...,1
)(ˆ fXXXXXfXXXXXfn
YVk
p
k
i
k
i
k
i
kk
p
k
i
k
i
k
i
kn
k
i −= +−+−
=
∑
( ) ( )njpi
j
injpi
j
i XX,..,1;,..,1
)(
,..,1;,..,1
)( ' and ====
( ) ( )1 n
Venez’ course 2012 – Design and analysis - B. Iooss 59
:�����7� ����� O�����������/��� *� ��O$�������������
:����������� T7�V*>������� � ������ ������ � ��#����� ��������
?���� �������F����B+�������������/
( ) ( ) 20
)()(1
)()(1
)(1
)()(1
)()(1
)(1
1~ ,...,,',,...,,...,,,,...,
1)(ˆ fXXXXXfXXXXXf
nYV
k
p
k
i
k
i
k
i
kk
p
k
i
k
i
k
i
kn
k
i −= +−+−
=
∑
( ) ( ) )(ˆin ' and ~,..,1;,..,1
)(
,..,1;,..,1
)(YVXX injpi
j
injpi
j
i ====
[ ]∑=
+− −=n
k
pkkpkikikikkpkki XXfXXXXXfXXfn
V1
)1(,
)1(1,
)1(,
)1(1,
)2(,
)1(1,
)1(1,
)2(,
)2(1, ),...,(),...,,,,...,(),...,(
1ˆ
The sampling-based approaches
+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�
? Linear relation ?
F��
Linear regression between X
��Z�
����������Sobol indices
(� ? Monotonic relation ?
F�� (�
��ZP�
Venez’ course 2012 – Design and analysis - B. Iooss 60
between Xand Y
Regression coefficients
����������������
Sobol indices
Regression on ranks
�� ��
���������
SmoothingMetamodelN > 10 p
Monte Carlo
N > 1000 p
? CPU time cost of the model ?
Quasi-MC, FAST, RBD,
N > 100 p
�����
Flood model – Output Cp
5������7<<B�!������,�����������.������� �������������� � �����
&������������ ���A����������/L$ *UU[
)*7�R
Venez’ course 2012 – Design and analysis - B. Iooss 61
)*7�R
7<<���������
)���O$��7<<*Y�Y����������
Classification of sensitivity analysis methods
�������������
)�����������
M� ����������������
/���������I ����� �����������
,����������� �������� �������+����������������B�����8�O����� ���6�W \Q� �
�� ����
�����������
Venez’ course 2012 – Design and analysis - B. Iooss 62
� 7<� 7<<<�
4�����7�
������
���������O�����������
���������"������
�����������
$�
�� *������� ��������������
< (���� ������������������
���� �� ����
����������� ����
���1��������
4�������������
����/� ���������
– Fang et al., Design and modeling for computer experiments, Chapman &
Hall, 2006
– J.C. Helton, J.D. Johnson, C.J. Salaberryet C.B. Storlie: Survey of sampling-
based methods for uncertainty and sensitivity analysis. Reliability
Engineering and System Safety, 91:1175–1209, 2006.
– Kleijnen, The design and analysis of simulation experiments, Springer, 2008
Bibliography
Venez’ course 2012 – Design and analysis - B. Iooss 63
– Kleijnen, The design and analysis of simulation experiments, Springer, 2008
– Koehler & Owen, Computer experiments, 1996
– A. Saltelli, K. Chan & E.M. Scott, Sensitivity analysis, Wiley, 2000
– A. Saltelli et al., Global sensitivity analysis - The primer. Wiley, 2008.