Embed Size (px)
Citation preview
Auto-Associative models and generalized Principal
Component Analysis
Stephane Girard, Serge Iovleff
To cite this version:
Stephane Girard, Serge Iovleff. Auto-Associative models and generalized Principal ComponentAnalysis. Workshop on principal manifolds for data cartography and dimension reduction, Aug2006, Leicester, United Kingdom. <hal-00985337>
HAL Id: hal-00985337
https://hal.inria.fr/hal-00985337
Submitted on 29 Apr 2014
HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, estdestinee au depot et a la diffusion de documentsscientifiques de niveau recherche, publies ou non,emanant des etablissements d’enseignement et derecherche francais ou etrangers, des laboratoirespublics ou prives.
AUTO-ASSOCIATIVE MODELSAND GENERALIZED PRINCIPAL COMPONENT ANALYSIS
Stephane Girard⋆ INRIA, Universite Grenoble 1
Joint work with Serge Iovleff, Universite Lille 1
Auto-Associative models and generalized Principal Component Analysis August 2006
Outline
1. Principal Component Analysis, 2 points of view,
2. Generalized PCA, theoretical aspects,
3. Implementation aspects,
4. Illustration on simulated datasets,
5. Illustration on real datasets.
Stephane Girard 1
Auto-Associative models and generalized Principal Component Analysis August 2006
1. Principal Component Analysis
• Background: Multidimensional data analysis
(n observations in a p− dimensional space)
• Goal: Dimension reduction.
◦ Data visualization (dimension less than 3),
◦ To find which variables are important,
◦ Compression.
• Method: Projection on low d− dimensional linear subspaces.
Stephane Girard 2
Auto-Associative models and generalized Principal Component Analysis August 2006
PCA: Geometrical interpretation
Problem
• Let X be a centered random vector in Rp.
• Estimate the d− dimensional linear subspace d ∈ {0, . . . , p} minimizing the mean distance to X .
• Minimize with respect to a1, . . . , ad (orthonormal):
E
∥
∥
∥
∥
∥
X −d
∑
k=1
⟨
X, ak⟩
ak
∥
∥
∥
∥
∥
2
.
Explicit solution
• a1, . . . , ad are the eigenvectors associated to the d largest eigenvalues of E [X tX ], the covariance
matrix of X .
• The ak ’s are called principal axes, the Y k =⟨
X, ak⟩
the principal variables.
• The associated residual is defined by
Rd = X −d
∑
k=1
⟨
X, ak⟩
ak,
and it can be shown that∥
∥Rd∥
∥ ≤∥
∥Rd−1∥
∥.
Stephane Girard 3
Auto-Associative models and generalized Principal Component Analysis August 2006
PCA: Projection Pursuit interpretation
Equivalent problem
• Estimate the d− dimensional linear subspace d ∈ {0, . . . , p} maximizing the projected variance.
• Maximize iteratively with respect to a1, . . . , ad (orthonormal):
Var[⟨
X, a1⟩]
, . . . , Var[⟨
X, ad⟩]
.
Stephane Girard 4
Auto-Associative models and generalized Principal Component Analysis August 2006
Algorithm
• For j = 0, let R0 = X .
• For j = 1, . . . , d :
[A] Estimation of a projection axis.
Determine aj = arg maxx∈Rp
E
[
⟨
x, Rj−1⟩2
]
such that∥
∥aj∥
∥ = 1 and⟨
aj, ak⟩
= 0, 1 ≤ k < j.
[P] Projection.
Compute the principal variable Y j =⟨
aj, Rj−1⟩
.
[R] Linear regression.
Determine bj = arg minx∈Rp
E
[
∥
∥Rj−1 − Y jx∥
∥
2]
such that⟨
bj, aj⟩
= 1 and⟨
bj, ak⟩
= 0,
1 ≤ k < j. The solution is bj = aj, and let the regression function be sj(t) = taj.
[U] Residual update.
Compute Rj = Rj−1 − sj(Y j).
Stephane Girard 5
Auto-Associative models and generalized Principal Component Analysis August 2006
Algorithm output. After d iterations, we have the following expansion:
X =
d∑
k=1
sk(Y k) + Rd, (1)
with sk(t) = tak and Y k =⟨
ak, X⟩
, or equivalently
X =d
∑
k=1
⟨
ak, X⟩
ak + Rd.
This equation can be rewritten as
F (X) = Rd (2)
where we have defined
F (x) = x −d
∑
k=1
⟨
ak, x⟩
ak.
The equation F (x) = 0 defines a d− dimensional linear subspace, spanned by a1, . . . , ad.
Equation (2) defines a d− dimensional linear auto-associative model for X .
Stephane Girard 6
Auto-Associative models and generalized Principal Component Analysis August 2006
Goals of a generalized PCA
1. To keep an expansion similar to (2):
F (X) = Rd,
but with a non necessarily linear function F , such that the equation F (x) = 0 could model more
general subspaces.
2. To keep an expansion “principal variables + residual” similar to (1):
X =d
∑
k=1
sk(Y k) + Rd,
but with non necessarily linear functions sk.
3. To benefit from the “nice” theoretical properties of PCA.
4. To keep a simple iterative algorithm.
Stephane Girard 7
Auto-Associative models and generalized Principal Component Analysis August 2006
2. Generalized PCA, theoretical aspects
We adopt the Projection Pursuit point of view. The steps [A] and [R] are generalized:
[A] Estimation of a projection axis.
Introduction of an index I which measures the quality of the projection axis. For instance:
• Dispersion,
• Deviation from normality,
• Clusters detection,
• Outliers detection,...
[R] Regression.
Estimation of the regression function from R to Rp in a given set:
• Linear functions,
• Splines, kernels,...
Stephane Girard 8
Auto-Associative models and generalized Principal Component Analysis August 2006
New algorithm.
• For j = 0, let R0 = X .
• For j = 1, . . . , d :
[A] Estimation of a projection axis.
Determine aj = arg maxx∈Rp
I(⟨
x, Rj−1⟩
) such that∥
∥aj∥
∥ = 1 and⟨
aj, ak⟩
= 0, 1 ≤ k < j.
[P] Projection.
Compute the principal variable Y j =⟨
aj, Rj−1⟩
.
[R] Regression.
Determine sj = arg mins∈S(R,Rp)
E
[
∥
∥Rj−1 − s(Y j)∥
∥
2]
such that Paj ◦ sj = IdR and Pak ◦ sj = 0,
1 ≤ k < j.
[U] Residual update
Compute Rj = Rj−1 − sj(Y j).
Stephane Girard 9
Auto-Associative models and generalized Principal Component Analysis August 2006
Remark: At the end of iteration j, the residual is given by
Rj = Rj−1 − sj(
Y j)
= Rj−1 − sj(⟨
aj, Rj−1⟩)
= Rj−1 − sj ◦ Paj
(
Rj−1)
=(
IdRp − sj ◦ Paj
) (
Rj−1)
=(
IdRp − sj ◦ Paj
)
◦(
IdRp − sj−1 ◦ Paj−1
) (
Rj−2)
= . . .
=(
IdRp − sj ◦ Paj
)
◦ . . . ◦(
IdRp − s1 ◦ Pa1
) (
R0)
=(
IdRp − sj ◦ Paj
)
◦ . . . ◦(
IdRp − s1 ◦ Pa1
)
(X) .
Auto-associative composite model.
Stephane Girard 10
Auto-Associative models and generalized Principal Component Analysis August 2006
Remark: The constraint Paj ◦ sj = IdR.
• Natural constraint.
y=P s(y)
s
a
a
s(y)
• Important consequence: At the end of iteration j, the residual is given by
Rj =(
IdRp − sj ◦ Paj
) (
Rj−1)
, and thus is projection on aj is
PajRj =(
Paj − Paj ◦ sj ◦ Paj
) (
Rj−1)
= (Paj − Paj)(
Rj−1)
= 0.
Thus, iteration (j + 1) can be performed on the linear subspace orthogonal to (a1, . . . , aj),
which is of dimension (p − j).
Stephane Girard 11
Auto-Associative models and generalized Principal Component Analysis August 2006
Goal 1. After d iterations:
• One always has an auto-associative model
F (X) = Rd,
with
F =(
IdRp − sd ◦ Pad
)
◦ . . . ◦(
IdRp − s1 ◦ Pa1
)
=1
∐
k=d
(
IdRp − sk ◦ Pak
)
,
and Paj(x) =⟨
aj, x⟩
.
• The equation F (x) = 0 defines a d− dimensional manifold.
Stephane Girard 12
Auto-Associative models and generalized Principal Component Analysis August 2006
Goal 2. After d iterations:
• One always as the expansion “principal variables + residual” similar to (1):
X =
d∑
k=1
sk(Y k) + Rd,
and the functions sk are non necessarily linear.
• For d = p, the expansion is exact: Rp = 0.
• We can still define principal axes ak and principal variables Y k.
• The residuals are centered: E[
Rk]
= 0, k = 0, . . . , d.
Stephane Girard 13
Auto-Associative models and generalized Principal Component Analysis August 2006
Goal 3. After d iterations, we have:
• Some orthogonality properties⟨
ak, aj⟩
= 0, 1 ≤ k < j ≤ d,⟨
ak, Rj⟩
= 0, 1 ≤ k ≤ j ≤ d,⟨
ak, sj(Y j)⟩
= 0, 1 ≤ k < j ≤ d.
• Since the norm of the residuals is decreasing, we can define, similarly to the PCA case, the
information ratio represented by the d− dimensional model as
Qd = 1 − E
[
∥
∥Rd∥
∥
2]/
Var[
‖X‖2]
.
One can show that Q0 = 0, Qp = 1 and (Qd) is increasing.
Remark. Except in particular cases, the non-correlation of the principal variables is lost:
E[
Y kY j]
6= 0, 1 ≤ k < j ≤ d.
Stephane Girard 14
Auto-Associative models and generalized Principal Component Analysis August 2006
Goal 4.
• We still have an iterative algorithm. It converges at most in p steps.
• Its complexity depends on the two steps [A] et [R].
[A] Estimation of a projection axis.
Determine aj = arg maxx∈Rp
I(⟨
x, Rj−1⟩
) such that∥
∥aj∥
∥ = 1 and⟨
aj, ak⟩
= 0, 1 ≤ k < j.
[R] Regression.
Determine sj = arg mins∈S(R,Rp)
E
[
∥
∥Rj−1 − s(Y j)∥
∥
2]
such that Paj ◦ sj = IdR and Pak ◦ sj = 0,
1 ≤ k < j.
• Note that the above theoretical properties do not depend on these steps.
Stephane Girard 15
Auto-Associative models and generalized Principal Component Analysis August 2006
3. Implementation aspects, step [A]
• Contiguity index. Measure of the neighborhood preservation. Points which are neighbor in
Rp should stay neighbor on the axis.
I(⟨
x, Rj−1⟩
) =
n∑
i=1
⟨
x, Rj−1i
⟩2/
n∑
k=1
n∑
ℓ=1
mkℓ
⟨
x, Rj−1k − R
j−1ℓ
⟩2
,
where M = (mkℓ) is the contiguity matrix defined by
mkℓ = 1 if Rj−1ℓ is the closest neighbor of R
j−1k , mkℓ = 0 otherwise.
• Optimization. Explicit solution.
[A] aj is the eigenvector associated to the largest eigenvalue of V ⋆j V −1
j , where
Vj =n
∑
k=1
tRj−1k R
j−1k , V ⋆
j =n
∑
k=1
n∑
ℓ=1
mkℓt(Rj−1
k − Rj−1ℓ )(Rj−1
k − Rj−1ℓ )
are proportional to the covariance and local covariance matrices of Rj−1.
Stephane Girard 16
Auto-Associative models and generalized Principal Component Analysis August 2006
Implementation aspects, step [R]
• Set of L2 functions. The regression step reduces to estimating the conditional expectation:
[R] sj(Yj) = E[
Rj−1|Yj
]
.
• Estimation of the conditional expectation.
◦ Classical problem since the constraints Paj ◦ sj = Id and Pak ◦ sj = Id, 1 ≤ k < j are easily
taken into account in the ak ’s basis. Step [R] reduces to (p− j) independent regressions from
R to R.
◦ Numerous estimates are available: splines, local polynomials, kernel estimates, ...
◦ For instance, for the coordinate k ∈ {j + 1, . . . , p}, the kernel estimate of sj(u) can be
written as
sjk(u) =
n∑
i=1
Rj−1i,k Kh(u − Y
ji )
/
n∑
i=1
Kh(u − Yji ) ,
where h is a smoothing parameter (the bandwidth).
Stephane Girard 17
Auto-Associative models and generalized Principal Component Analysis August 2006
4. First illustration on a simulated dataset
• n = 100 points in R3 randomly chosen on the curve x → (x, sinx, cos x).
• One iteration h = 0.3 → Q1 = 99.97%.
1
−0
−1
Z
−1 0 1Y
9.4
0.0
−9.4
X
Theoretical curve
1
−0
−1
Z
−1 0 1Y
9.0
−0.2
−9.4
X
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
+
++
+
+
+
+
+
+
++
+
+
+
+
++
++
+
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+ ++
+
+ +
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
+
++
+
+
+
+
+
+
++
+
+
+
+
++
++
+
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+ ++
+
+ +
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
++
Estimated 1− dimensional manifold
Stephane Girard 18
Auto-Associative models and generalized Principal Component Analysis August 2006
Second illustration on a simulated dataset
• n = 1000 points in R3 randomly chosen on the surface
(x, y) → (x, y, cos(π√
x2 + y2)(1 − exp{−64(x2 + y2)})).
• Two iterations: Q1 = 84.1% et Q2 = 97.6%.
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
Theoretical surface
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
+
+
+
+
+
+
+
++
+
+
+ +
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+ +
+
++
+
+
+
+
+
+
+
+ +
++
+
+
+
++
+
+
+ +
+
+
+
+
+
+
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
+
+
+
+
+
++
+ +
+
+
+
+
+
+
++ +
+
+
+
+
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+ +
+
+
++
+
+
+
+
+
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+ +
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+ +
+
+
+
++
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
++
+
+
+
+
+ +
+
+
+
+
+
+
+
++
+
+
+
++
+
+
+
+
+
+ ++
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+ ++
+
+
+
+
++
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
+
+ +
+
+
++
+
+
+
+
+
+ +
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+ + +
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
++
++
+
++
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+ +
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
++
+
+
+
+
+
++
+
++
+
+ +
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+ +
+
+
+
+ +
++
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+ +
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+ +
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+ +
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+ +
+
+ +
+
+
+
+
+
+
+
+
+
+ +
+
+
+
+++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+++
++
++
+
+
+ +
+
+
+
++
+
+
+
+
++ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+++
+
+ +
+
+
+
+
+
+
+
++
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+ +
+
+
+ +
+
+
+
+
+
+
+
+ +
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Simulated points
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
.. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
.. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
.. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
.. . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
..
..
..
..
..
. . . . . . .
Estimated 2− dimensional manifold
Stephane Girard 19
Auto-Associative models and generalized Principal Component Analysis August 2006
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
s1 (blue) and s2 (red)
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
+
+
+
+
+
+
++
+
++
++
+
+
+
++
+
++
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
++
+
+++
++
+
+
+
++
++
++
+
+
+
+
+
+
+
++
+
+
+
+
++ ++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
++
+
++
+++
+
+
+
+
+
+
+
+
+++
++
+
+
+
++++
+
+
+
++
+
++
+
+
+
+
++
++ +
++
++
+
+
+
+
+
+
+
+
++
++
+
+
+
+
+
++
++
+
+
++
++ +
+
+
+
++
++
+
+
+
+
+
+
++
+
+
+
+
+
+
++ +
+ ++
+
++
++
+
++
+
++
+
+
++
+
+
+
+
+ +
+
+
++
+
++
+
+
+
++
+
+
++
+
+
++
+
+
+
+
++
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
++
+ +
+
+
+
++
++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+
+
++
+
+
++ +
+ +
+
+
+
+
+
+
+
+
+
++
+
+
++
+
+
+
+ +
+
+
+
+
+ ++
+
+
+
+
+
+ +
+
++
+
++
+
+
+
+
+
+
+
++
+
+
++
+
+
+++ +
+
+
++
++
++
+
+
+
+
+
+
+
+
+
+
+
+++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+ ++
+
+
+
+
+
+
+
+
++ +
+
++
+
+
+++
+
+
+
+
+
+
+
+++
++
+
+
+
+
+
+
++
+
+
+
+
+
+
++
++
+
+
+
+ +
+ +
+
+
+
+
+
++
+
+
+ ++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
++
++++ +
+
+
+
+
+ +
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
++
+
++
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+++
+
+
++
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
++
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+ +
+
+
+
+ +
+
+
+
+
+
+
+ +
+
+
+
+
+ +
+
+
+
+
++
+ + +
+
++
+
+
+
+
++
+
+
+
+
+
+
+
+
+ ++
+
+
++
++
+
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
+
++
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
+
++
+
+
+
++
+++
+
+
+
+
+
+
+
+
+
+
++ +
++
++
+
+
++
+
+
+
+
+
+ +
+
+
+
+
+
++
+
+
+++
+
++
+
+
+
++
+
++
+
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
++
+
++
+
+
+
+
+
+
+
+
+
+
+ +
+ ++
++
+
+
+
+
+
++
+
+
+
+
++
+
+
+
+
+ +
++
+
+
+
+
+
+
+
++
+
+
+
+
+
++
+
+
++
+
++
+
+
+
+
+
+
+
+++
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+++
+
+
+
+
+
+
+
++
++
+
++
+
+
+
+
++
++
++
+
++++
+
+
+
+
++
+
+
+
++
+
+
+
+
Residuals R1i
1.20
0.35
−0.50
Z
−1
0
1
Y
0.5
0.0
−0.5
X
++
+++++++
+++++++++++
+++
+++++++
++++
++
+++++++
++
+++++
+++++++
+++
+++++
++++
+++++++++
++++++
+++++++
+++++
++++
++
+++
++++++++
++++++
+++
++
+++++
++++++++++++
++++++++++
+++
++++
++++++++++
++
++++
++
++
++
++++++
+++++++
++
+++++
+++++
+++++++++++++
+++++
+++
++
++++
++++++++++++
+++++
+++++++++++++
++
++
++++
++++
++
+++
+++++++++
+++
++
+++
+++++++++
+++++++
+++
++
++++
+++
+++
++++
++++++
++++
+++
+++
+++++++++++
++++
+++
+++++++++
+++
++++++++++++++++++
++
++
++++
+++++++
++
++
++
+++
+++
++++
++
+++++++++++++++++++
+++
++
++++++++
+++++++++++++++++++
++++++++
+++++++
+++
++++++
++
+++++
+++++++++++++
++++
++++++
++++
++
++++
++
+++++++++++++++
++
++
+++
++++
+++
+++
++++++
++++++++
+++++++++
++++
++
+++
++++++++
++
++
++
+++
+++
+++
++
+++
+++++++++
++++
++
++++++
+++++
+++
++
++
++
++
++++
+++++++++++
+++++
++++++++
++++++
+++++
+++
+++++
+++++++
+++
+++++++++++++
++++++
++++
++++++
++++++
++++
++
+++
++
++++++++++++++
++
++
+++
++++
+++
++
++
++++
+++++++++
++++++++
++++++++++++
+++
++++
++++
++++++
+++
+++++
+++
+++
+++++++
+++
+++
+++
+++
++++
+++++
++++++
+++
++++++++
++
++++++
++++++++
+++++++++++++++++++++
++++
++
++
+++
++
++++++
+++
+++
+++
++++++++++
++++++
+
Residuals R2i
Stephane Girard 20
Auto-Associative models and generalized Principal Component Analysis August 2006
5. First illustration on a real dataset
• Set of n = 45 images of size 256 × 256.
• Interpretation : n = 45 points in dimension p = 2562.
• Rotation : n = 45 points in dimension p = 44.
Stephane Girard 21
Auto-Associative models and generalized Principal Component Analysis August 2006
• Information ratio Qd as a function of d (blue: classical PCA, green: generalized PCA).
0 1 2 3 4 5 6 7 8 9 100
10
20
30
40
50
60
70
80
90
100
0 1 2 3 4 5 6 7 8 9 100
10
20
30
40
50
60
70
80
90
100
+
+
+ + + + + + + + +
+
+
+
+
+
+ + + + + +
Stephane Girard 22
Auto-Associative models and generalized Principal Component Analysis August 2006
• Projection on the 3 first PCA axes of the estimated manifolds
(dimension 1 & dimension 2).
830
55
−720
Z
−1300
−50
1200
Y
3000
500
−2000
X
830
55
−720
Z
−1300
−50
1200
Y
3000
500
−2000
X
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
830
55
−720
Z
−1300
−50
1200
Y
3000
500
−2000
X
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
..............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
......................................... .. . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
.......................................... . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
......................................... .. . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
................................................
.......................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
...............................................
................................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
.......................
..
..
..
.......................................
................................................................. . . . . . . ...................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
..............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . ..............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . ..............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
........................
..
..
..
.......................................
.................................................................. . . . . . . ..................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
........................................ . . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
......................................... .. . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
...............................................
................................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
.......................
..
..
..
.......................................
.................................................................. . . . . . . ..................................
.....................
....................
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . ..............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . ..............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
..............................................
...........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
................................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
........................
..
..
..
.......................................
................................................................. . . . . . . ...................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
.......................................... . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . ..............................................
.....................
........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
..............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
........................................ .. . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
................................................
.......................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
...............................................
................................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
.......................
..
..
..
.......................................
................................................................. . . . . . . . ..................................
.....................
....................
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
................................................
.......................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . ..............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
.......................
..
..
..
.......................................
................................................................. . . . . . . ...................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
......................................... .. . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
................................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
........................
..
..
..
.......................................
................................................................. . . . . . . ...................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
......................................... .. . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ...............................................
.....................
........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
................................................
.......................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
...............................................
................................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
...............................................
................................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
.......................
..
..
..
.......................................
................................................................. . . . . . . ...................................
.....................
....................
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . ..............................................
.....................
........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
................................................
................................................
................................................
.......................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
....................
..........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
.......................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
...............................................
.......................
..
..
..
..
..
...............
................................................
...............................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
...............................................
.........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
.............................................................
........................................... . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
...............................................
..........................
..
..
..
..............................................................
......................................... . . . . . . . .............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
................................................
................................................
........................
..
..
..
.............................................................
.......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
.............................................................
........................................... . . . . . . ..............................................
.....................
........
................................................
...............................................
......................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
................................................
.....................
..
..
..
..
..
...............
...............................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
..............
................................................
...............................................
................................................
.........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
...............................................
................................................
......................
..
..
..
..
..
...............
................................................
...............................................
................................................
........................
..
..
..
..............................................................
......................................... . . . . . . ..............................................
.....................
.........
................................................
...............................................
......................
..
..
..
..
..
...............
................................................
................................................
...............................................
........................
..
..
..
.............................................................
.......................................... . . . . . . . .............................................
.....................
.........
Stephane Girard 23
Auto-Associative models and generalized Principal Component Analysis August 2006
Second illustration on a real dataset
• Dataset I, five types of breast cancer.
• Set of n = 286 samples in dimension p = 17816.
• Rotation : n = 286 points in dimension p = 285.
• Forgetting the labels, information ratio Qd as a function of d (blue: classical PCA, green:
generalized PCA).
Stephane Girard 24
Auto-Associative models and generalized Principal Component Analysis August 2006
Estimated 1− dimensional manifold projected on the principal plane.
-50000 -40000 -30000 -20000 -10000 0 10000 20000 30000 40000-50000
-40000
-30000
-20000
-10000
0
10000
20000
30000
40000
+
+
++
+
+
++
+
+
+
+
+
++
+
+
+
++
+
++
+
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+
+ +
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
++ +
+
+
+
+
+
+
+
++
++
++
+
+ ++
+
++
+
+++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+++
+
++
+
+
+
+
++
++
+
++
+ ++
+ ++
+
+
+
+
+
+
+
+ ++ ++ +
++
+
++
+
++
+
+
+
+
+
+
+
+
++
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
++
++
+
+
+
+
+
++
++
++
+
+
+
++
+
+ ++
+
+
+
+
+ ++
+
+
+
+
+
+
+
+
+
+
++
+
++
++
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
++
+
+
+
Stephane Girard 25
Auto-Associative models and generalized Principal Component Analysis August 2006
Estimated 1− dimensional manifolds projected on the principal plane, for each type of cancer.
-50000 -40000 -30000 -20000 -10000 0 10000 20000 30000 40000-50000
-40000
-30000
-20000
-10000
0
10000
20000
30000
40000
+
+
++
+
+
++
+
+
+
+
+
++
+
+
+
++
+
++
+
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
+
+
+
+
+
++
+
+
+
+
+
+
+
++
+
+
+ +
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+
++ +
+
+
+
+
+
+
+
++
++
++
+
+ ++
+
++
+
+++
+
+
+
+
+
++
+
+
+
+
+
+
+
+
+++
+
++
+
+
+
+
++
++
+
++
+ ++
+ ++
+
+
+
+
+
+
+
+ ++ ++ +
++
+
++
+
++
+
+
+
+
+
+
+
+
++
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
++
+
++
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
++
+
++
+
+
+
++
++
++
+
+
+
+
+
+
+
+
+
++
+
+
+
+
++
+
++
+
++
++
+
+
+
+
+
++
++
++
+
+
+
++
+
+ ++
+
+
+
+
+ ++
+
+
+
+
+
+
+
+
+
+
++
+
++
++
+
+
+
+
+
+
+
+
+
+
++
+
+
++
+
++
+
+
+
Stephane Girard 26
Auto-Associative models and generalized Principal Component Analysis August 2006
References
• S. Girard and S. Iovleff. Auto-associative models, nonlinear Principal component analysis,
manifolds and projection pursuit. In A. Gorban et al (eds) Principal Manifolds for Data
Visualisation and Dimension Reduction, vol. 28, p. 205–222, LNCSE, Springer-Verlag, 2007.
• S. Girard and S. Iovleff. Auto-Associative Models and Generalized Principal Component
Analysis, Journal of Multivariate Analysis, 93, 21–39, 2005.
• S. Girard. A nonlinear PCA based on manifold approximation, Computational Statistics, 15,
145–167, 2000.
• B. Chalmond and S. Girard. Nonlinear modeling of scattered multivariate data and its
application to shape change, IEEE Pattern Analysis and Machine Intelligence, 21, 422–432,
1999.
• S. Girard, B. Chalmond and J-M. Dinten. Position of principal component analysis among
auto-associative composite models, Comptes-Rendus de l’Academie des Sciences, t. 326, Serie
I, 763–768, 1998.
• S. Girard, B. Chalmond and J-M. Dinten. Designing non linear models for flexible curves. In
Curves and Surfaces with Application in CAGD, A. Le Mehaute, C. Rabut, and L.L.
Schumaker (eds.), 135–142, 1997.
Stephane Girard 27
![Research Article Incremental Tensor Principal …downloads.hindawi.com/journals/mpe/2014/819758.pdffortensordata.Reference[ ] has generalized principal component analysis into tensor](https://img.pdfslide.net/doc/110x75/5f93fe1201c1ac57434e95ba/research-article-incremental-tensor-principal-fortensordatareference-has-generalized.jpg)