Embed Size (px)
Citation preview
行列ブロック行列、ムーア-ペンロース逆行列
行列式とブロック行列
■ 定理①：Mはブロック三角行列A1,A2,...,Anをもつ上（又は下）三角行列とすると、｜M|=｜A1｜｜A2｜…｜An｜で計算できる。
■ M=𝐴 𝐵𝑂 𝐷
, Aはｒ×ｒ次、Dはｓ×ｓ次とすると
■ ｜M｜＝｜A｜｜D｜
■ 定理②ブロック行列M= 𝐴 𝐵𝐶 𝐷
,Aは正則でｒ×ｒ次、Dはｓ×ｓ次ならば
■ ｜M｜＝｜A｜｜D-CA⁻¹B｜
■ （証明）M= I O
CA−1 𝐼𝐴 𝐵𝑂 𝐷 − C𝐴−1𝐵
特殊行列の規則（対角行列、上三角行列、下三角行列の逆行列）
■𝐴 𝑂𝑂 𝐷
−1
= 𝐴−1 𝑂𝑂 𝐵−1
■𝐼 𝑋𝑂 𝐼
−1
=𝐼 −𝑋𝑂 𝐼
■𝐼 𝑂𝑋 𝐼
−1
=𝐼 𝑂−𝑋 𝐼
■ （ヒント）
■𝑎11 𝑎12𝑂 𝑎22
−1
=1
𝑎11𝑎22
𝑎22 −𝑎12𝑂 𝑎11
■𝐼 𝑋𝑂 𝐼
−1
=𝐼 −𝑋𝑂 𝐼
𝐴 𝐵𝐶 𝐷
=𝐼 𝑂
𝐶𝐴−1 𝐼𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
𝐼 𝐴−1𝐵𝑂 𝐼
■ (証明) A⁻¹が存在するものとし、下三角、上三角の積(LU分解)から
■𝐴 𝐵𝐶 𝐷
=𝐼 𝑂𝑋 𝐼
𝑃 𝑄𝑂 𝑅
=𝑃 𝑄𝑋𝑃 𝑋𝑄 + 𝑅
…①
■ 成分を比較すると、
■ A=P、B=Q、C=XPよりX=CP⁻¹＝CA⁻¹、
■ D=XQ+RよりR=D-XQ＝D-CA⁻¹Bなので、次のようにLU分解できる。
■𝐴 𝐵𝐶 𝐷
=𝐼 𝑂
𝐶𝐴−1 𝐼𝐴 𝐵𝑂 𝐷 − 𝐶𝐴−1𝐵
…②
さらに右辺の行列をブロック対角行列と上三角行列の積にすると
■𝐴 𝐵𝑂 𝐷 − 𝐶𝐴−1𝐵
=𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
𝐼 𝑌𝑂 𝐼
=𝐴 𝐴𝑌𝑂 𝐷 − 𝐶𝐴−1𝐵
■ B=AYよりY=𝐴−1𝐵とおけるので、
■𝐴 𝐵𝐶 𝐷
=𝐼 𝑂
𝐶𝐴−1 𝐼𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
𝐼 𝐴−1𝐵𝑂 𝐼
■ を得る。逆行列は
■𝐴 𝐵𝐶 𝐷
−1
= 𝐼 −𝐴−1𝐵𝑂 𝐼
𝐴−1 𝑂𝑂 𝐷−1 − 𝐵−1𝐴𝐶−1
𝐼 𝑂−𝐶𝐴−1 𝐼
=𝐴−1 + 𝐴−1𝐵 𝐷−1 − 𝐵−1𝐴𝐶−1 𝐶𝐴−1 −𝐴−1𝐵(𝐷−1 − 𝐵−1𝐴𝐶−1)
− 𝐷−1 − 𝐵−1𝐴𝐶−1 𝐶𝐴−1 𝐷−1 − 𝐵−1𝐴𝐶−1…③
ブロック行列の行列式
■𝐴 𝐵𝐶 𝐷
=𝐼 𝑂
𝐶𝐴−1 𝐼𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
𝐼 𝐴−1𝐵𝑂 𝐼
より
■𝐴 𝐵𝐶 𝐷
=𝐼 𝑂
𝐶𝐴−1 𝐼𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
𝐼 𝐴−1𝐵𝑂 𝐼
= 1 ×𝐴 𝑂𝑂 𝐷 − 𝐶𝐴−1𝐵
× 1
= 𝐴 ∙ |𝐷 − 𝐶𝐴−1𝐵|…④
により行列式の値が計算できる。
フルランク分解
■ Bは線形独立でフルランクｒ、Cは線形独立でフルランクｒとする。
■ （定義）Aはｍ×ｎ次ランクｒとする。Aはフルランク分解できる。
■ A=BC
■ Bは列フルランクr、Cは行フルランクｒである。
■ 定理③ランクｒ＞０の行列Aはフルランク分解できる。
■ 行列Aのフルランク分解は無数にある。Fig.Dはその分解アルゴリズムを示す。
Fig.D
■ （アルゴリズム）入力データはランク＞0の行列Aである。アウトプットはAのフルランク分解である。
■ Step1. Aの行変換（簡約）形式Mを見つける。
■ Step2. Bは、ピボットをもつMの列に対応するAの列であるその列行列とする。
■ Step3. Cは,Mのゼロでない行の行行列とする。
■ したがって、A=BCは、Aのフルランク分解である。
例題1 A(=BC)をフルランク分解せよ。B,Cを求める。
■ A＝1 1 −1 22 2 −1 3−1 −1 2 −3
■ A~
1 1 −1 20 0 1 −10 0 1 −1
~
1 1 0 10 0 1 −10 0 0 0
= 𝑀(行簡約行列)
■ A=
1 1 −1 22 2 −1 3−1 −1 2 −3
＝BC =𝑎 𝑏𝑐 𝑑𝑒 𝑓
1 1 0 10 0 1 −1
、Bはフルランク
■ a×1+ｂ×0＝1⇒a=1、c×1+ｄ×0＝2⇒ｃ＝2、e×1+f×0＝-1⇒e=-1
■ a×0+b×1＝-1⇒ｂ＝-1、ｃ×0+ｄ×1＝-1⇒ｄ＝-1、e×1+ｆ×（-1）＝-3⇒ｆ＝2
■ A=BC=𝑎 𝑏𝑐 𝑑𝑒 𝑓
𝐶＝1 −12 −1−1 2
1 1 0 10 0 1 −1
■ したがって、B、Cはフルランク分解で、Aはフルランク分解された。
一般逆行列1（Moore-Penrose)
■ 行列𝐴𝐻は行列Aの随伴行列（エルミート転置、エルミート随伴）で、スカラーは複素数フィールドCにある。エルミート行列Aは、その成分が複素数で、随伴行列（エルミート行列）はAの転置とその成分の複素共軛（実数部はそのままで、虚数部の符号を反転する）をとって得られる行列𝐴𝐻をいう。
■ 例A=1 −1 − 𝑖
1 + 𝑖 𝑖𝐴𝐻 =
1 1 − 𝑖−1 + 𝑖 −𝑖
■ [Aは実行列ならば、𝐴𝐻 = 𝐴𝑇（転置）となる。]
■ （定義①）AはC上のｍ×ｎ行列とする。A+で表す行列は、次の式を満足するときAのpseudoinverse又はMoore-Penrose逆行列、AのMP-逆行列という。
■ [MP1] AXA=A [MP3] 𝐴𝑋 𝑇 = 𝐴𝑋
■ [MP2] XAX=X [MP4] 𝑋𝐴 𝐻 = 𝑋𝐴
■ A+はｎ×ｍ行列、Aが正則ならば、A+=A⁻¹
■ ※古典随伴行列とは異なる。
(補題①)A+が存在するとき、ユニークである。
■ （証明）X,Yが4個のMP式を満足するとする。
■ AY = 𝐴𝑋𝐴𝑌 𝐻 = 𝐴𝑌 𝐻 𝐴𝑋 𝐻 = 𝐴𝑌𝐴𝑋 = 𝐴𝑌𝐴 𝑋 = 𝐴𝑋
■ [MP3] 𝐴𝑋 𝑇 = 𝐴𝑋よりAY = 𝐴𝑋𝐴𝑌 𝐻
■ [MP1] AXA=A 、（AYA)X=AX
■ [MP4] 𝑋𝐴 𝐻 = 𝑋𝐴、 𝐴𝑌 𝐻 𝐴𝑋 𝐻 = 𝐴𝑌𝐴𝑋、[MP1]AXA＝A, 𝐴𝑌𝐴𝑋＝AX
■ Y=YAY=(YA)Y＝(XA)Y＝X(AY)＝X(AX)＝X
■ [MP2]XAX＝Xを用いている。
補題②：任意の行列Aに関し、A+が存在する。
■ Fig.①は任意の行列Aに関しMP-逆行列を計算するアルゴリズムを示す。
■ （アルゴリズム）入力値は、ランクrのC上のｍ×ｎ行列Aである。アウトプットはA+である。
■ Step1.PAQ＝𝐴11 𝐴12𝐴21 𝐴22
, A11は正則ｒ×ｒブロック行列であり、Aの行と列を交
換する。[P,Qは行と列交換した簡約行列の積である。]
■ Step2.B＝𝐴11𝐴21
及び C= 𝐼 𝐴11−1𝐴12 ここでIはｒ×ｒ単位行列である。
Step3.A+＝Q[𝐶𝐻(𝐶𝐶𝐻)−1(𝐵𝐻𝐵)−1𝐵11]P
■ ---以上Fig.①
上の2つの補題を合わせると
■ 定理① C上の行列Aは固有のムーア・ペンローズ逆行列A+をもつ。
■ Aは行フルランク、又は列フルランクのとき、特別な場合が存在する。
■ 定理②：AはC上の行列とする。
■ (a)Aは列フルランク（列は線形独立）ならば、A+＝(𝐴𝐻𝐴)−1𝐴𝐻
■ (b)Aは行フルランク(行は線形独立)ならば、A+＝𝐴𝐻(𝐴𝐴𝐻)−1
■ 定理③AはC上の行列とする。A=BCはAのフルランクの簡約行列とする。
■ A+＝𝐶+𝐵+＝𝐶𝐻(𝐶𝐶𝐻)−1(𝐵𝐻𝐵)−1𝐵𝐻
■ さらにA𝐴+＝B𝐵+及び𝐴+A=𝐶+C
例題② 前例題①における完全ランクの簡約A=BCによりA+を算出する。■ A=
1 1 −1 22 2 −1 3−1 −1 2 −3
=1 −12 −1−1 2
1 1 0 10 0 1 −1
= 𝐵𝐶
■ すなわち𝐶𝐶𝐻=1 1 0 10 0 1 −1
1 01 001
1−1
=3 −1−1 2
,
■ (𝐶𝐶𝐻)−1=1
5
2 11 3
, 𝐶+ = 𝐶𝐻(𝐶𝐶𝐻)−1=
1 01 001
1−1
1
5
2 11 3
=1
5
2 12 111
3−2
,
■ 𝐵𝐻𝐵 =1 2 −1−1 −1 2
1 −12 −1−1 2
=6 −5−5 6
■ (𝐵𝐻𝐵)−1=1
11
6 55 6
,
■ 𝐵+ = (𝐵𝐻𝐵)−1𝐵𝐻 =1
11
6 55 6
1 2 −1−1 −1 2
=1
11
1 7 4−1 4 7
𝐴+ = 𝐶+𝐵+＝𝐶𝐻(𝐶𝐶𝐻)−1(𝐵𝐻𝐵)−1𝐵𝐻
■ 𝐴+ = 𝐶+𝐵+ =1
5
2 12 111
3−2
1
11
1 7 4−1 4 7
■ =1
55
1 18 151 18 15−23
19−1
25−10
一般逆行列2性質長方行列でもよい、行列Aのムーア-ペンローズ一般逆行列は、以下の条件を満足する行列A⁺で表される。■ 条件①AA⁺＝A⁺Aはエルミート行列である。
■ 条件②AA⁺A=A
■ 条件③A⁺AA⁺=A⁺
一般逆行列は全ての行列に関して存在する。Aはｎ×ｍ次行列ならば、A⁺はｍ×ｎ次行列であり、次の性質を持つ。■ 性質① A⁺はユニークである。
■ 性質② A⁺＝A⁻¹（正則Aならば）
■ 性質③ (A⁺)⁺＝A
■ 性質④ (ｋA)⁺=(1/ｋ)A⁺(ｋ≠0)
■ 性質⑤ (𝐴𝐻)⁺= A+ 𝐻
■ 性質⑥ ０⁺＝０
性質⑦ A⁺のランクはAのランクに等しい。性質⑧ P,Qは適切な次数のユニタリー行列ならば、PAQは、(PAQ)⁺＝𝑄𝐻𝐴+𝑃𝐻を定義する。■ 性質⑨ Aはｍ×ｋ次、Bはｋ×ｎ次、及び両行列がランクｋならば、(AB)⁺＝
B⁺A⁺である。
■ 性質⑩ 正方行列A、AA⁺=A⁺Aならば、A⁺はAの多項式で表される。
一般逆行列の公式次に、任意の行列Aの一般逆行列を計算する手順を示す。■ Step① Aのランクを求め、それをKとする。
■ Step② ランクKを持つAのK×K部分行列を示す。
■ Step③ 最初の種類の簡約化（E1）を通して、Aの左上へとStep②の部分行列を移動する。
■ すなわち
■ PAQ=𝐴11 𝐴12𝐴21 𝐴22
■ P,Qは最初の段階の簡約行列であり、A11はランクKで、非正則である
■ Aの部分行列である。簡約化が不要な場合、P,Qは単位行列である。
■ A₁₂、A₂₁又はA₂₂はゼロ行列である。
Step④ B＝𝐴11𝐴21
, F=A₁₁⁻¹A₁₂, 及びC=[Ik
｜F]、ここでIkはK×K単位行列である。■ Step⑤ A⁺＝QCᴴ(CCᴴ)⁻¹(BᴴB)⁻¹BᴴP...①
■ Aの列が線形列ベクトルならば、式①は
■ A⁺＝(AᴴA)⁻¹Aᴴ...②
■ となる。
特異値-分解■ 式①と②は一般逆行列を計算するための便利な公式である。しかし、丸め誤差
を含むときそれらは安定しないので、行列Aの要素における小さな誤差は、A⁺の計算要素大きな結果となる。そのような状況において有効なアルゴリズムが存在する。
■ 任意の行列Aに関して、正方行列の必要がなく、積AᴴAは、正規であり、非負符号固有値を持つ。これらの固有値の正符号平方根は、Aの特異値である。さらに、U,V、つまり
■ A=U𝐷 00 0
𝑉𝐻 ...③
■ Dは、Aの正符号特異値のその主対角要素のすべてをもつ対角要素である。
■ そのブロック対角行列
■ Σ =𝐷 𝑂𝑂 𝑂
■ は、Aと同じ次数を持ち、Aが正方行列のときのみ正方行列である。
■ 式③はAに関して特異値-分解である。
そのような分解を構成するアルゴリズムは、次のとおり行える。■ Step⑥ AᴴAの固有値とAᴴAの標準直交固有ベクトルの簡約基底を決定する。
■ Step⑦ Aの対角要素が正符号特異値の正方対角行列としてのDを構築する。
■ Step⑧ V=[V₁｜V₂]をセットする。V₁の列は正符号固有値に対応するStep⑥において識別する固有ベクトルであり、V₂の列は残りの固有ベクトルである。
■ Step⑨ U₁＝AV₁D⁻¹を計算する。
■ Step⑩ U₁としての行の同じ数をもつ単位行列にU₁を簡約する。
■ Step⑪ 線形的に独立列ベクトルの最大集合を形成する簡約行列の列を表現し、他の行列を削除する。
■ 残こる列を標準直交化し、結果の行列をUとして表す。
■ Aは実行列の場合、UとVの両者は直交行列になる。
最小二乗解
■ 同時線形方程式AX=Bの最小二乗解は、‖AX-B‖²を最小化する最小ユークリッドノルムのベクトルである。そのベクトルは
■ X=A⁺B .....⑤
■ である。
■ Aが逆行列を持てば、式⑤は固有の解をもってX=A⁻¹Bとなる。
■ 無限に多くの解を示す一貫したシステムでは、式⑤は最小ユークリッドノルムをもつ解を表す。
■ 式⑤はまた、一貫性のないシステムの解を示し、これは、最小二乗の意味で最良です。
最小二乗解
■ 例題①Ax=bの解(|A|=0)
■
2 2 −22 2 −2−2 −2 6
𝑥𝑦𝑧
=132
■ (解)
■ A =2 2 −22 2 −2−2 −2 6
1 0 00 1 00 0 1
～2 2 −20 0 00 0 4
~
1 1 00 0 00 0 1
■ Rank=2
ランク2を持つAの2×2部分行列は、Aの第2行と第2列を消去して得られる。
■ A=2 2 −20 0 0−2 −2 6
1 0 00 1 00 0 1
～2 0 −2−2 0 60 0 0
1 0 00 0 10 1 0
(=P,Q)
■ この部分行列は、第2と第3行、及び第2と第3列の順に交換して左上の位置に移動して得られる。
■ A=2 −2−2 6
■ 𝐴11 =2 −2−2 6
A11はランクK=2である。
■ P,Qはユニタリなので
■ P=Q=1 0 00 0 10 1 0
PAQ=
1 0 00 0 10 1 0
2 2 −22 2 −2−2 −2 6
1 0 00 0 10 1 0
■ = =2 −2 2−2 6 −22 −2 2
■ A12=2−2
A21= 2 −2
■ B=2 −2−2 62 −2
■ F=𝐴11−1𝐴12 =
3/4 1/41/4 1/4
2−2
=10
■ C=[Ik|F]=1 0 10 1 0
C𝐶𝐻 =1 0 10 1 0
1 00 11 0
=2 00 1
■ (𝐶𝐶𝐻)−1=2 00 1
−1
=1/2 00 1
■ 𝐵𝐻𝐵 =2 −2 2−2 5 −2
2 −2−2 62 −2
=12 −20−18 38
■ (𝐵𝐻𝐵)−1=19/48 5/243/16 1/8
A⁺＝QCᴴ(CCᴴ)⁻¹(BᴴB)⁻¹BᴴP=
■
1 0 00 0 10 1 0
1 00 11 0
1
20
0 1
19
48
5
243
16
1
8
2 −2 2−2 5 −2
1 0 00 0 10 1 0
■ A⁺＝1
16
3 3 23 3 22 2 4
■
𝑥𝑦𝑧
= 𝐴+b=1
16
3 3 23 3 22 2 4
132
=111
例題9（LS）ｘ3+2ｘ4＝1ｘ1+2ｘ2+2ｘ3+3ｘ4＝2■ (解)AX=
■0 0 1 21 2 2 3
𝑥1𝑥2𝑥3𝑥4
=12
P=1 00 1
■0 0 1 21 2 2 3
~ 0 1 0 21 2 2 3
, B=𝐴11 =0 11 2
■
1 0 0 00 1 0 000
00
10
01
1 0 0 00 0 1 000
10
00
01
=Q , PAQ=1 00 1
0 0 1 21 2 2 3
1 0 0 00 0 1 000
10
00
01
F=𝐴11−1𝐴12 =
−2 11 0
0 22 3
=2 −10 2
■ C=[Ik|F]=1 0 2 −10 1 0 2
■ 𝐵𝐻𝐵 =0 11 2
0 11 2
=1 22 5
■ (𝐵𝐻𝐵)−1=5 −2−2 1
■ C𝐶𝐻 =1 0 2 −10 1 0 2
1 00 12−1
02
=6 −2−2 5
■ (𝐶𝐶𝐻)−1=6 −2−2 5
−1
=5/26 1/131/13 3/13
A⁺＝QCᴴ(CCᴴ)⁻¹(BᴴB)⁻¹BᴴP=
■
1 0 0 00 0 1 000
10
00
01
1 00 12−1
02
6 −2−2 5
5 −2−2 1
0 11 2
1 00 1
■ =
−8/26 5/26−16/26 10/262/2612/26
2/26−1/26
■ X=A⁺b=
−8/26 5/26−16/26 10/262/2612/26
2/26−1/26
12
=
1/132/133/135/13
例題10 例題9を最小二乗法（ノルム最小）を用いて解け。
■ ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄＝2...①
■ x₃+2x₄=1
■
■ E=ｘ₁²+ｘ₂²+ｘ₃²+ｘ₄²-2λ₁(ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄-2)-2λ₂(ｘ₃+2ｘ₄-1)＝最小...②
■ ∂E/∂ｘ₁＝2ｘ₁-2λ₁＝０ ｘ₁＝λ₁
■ ∂E/∂ｘ₂＝2ｘ₂-4λ₁＝０ ｘ₂＝2λ₁
■ ∂E/∂ｘ₃＝2ｘ₃-4λ₁-2λ₂＝０ ｘ₃＝2λ₁+λ₂
■ ∂E/∂ｘ₄＝2ｘ₄-6λ₁-4λ₂＝０ ｘ4＝3λ₁+2λ₂
■ ∂E/∂λ₁＝(ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄-2)＝０ ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄＝2
■ ∂E/∂λ₂＝(ｘ₃+2ｘ₄-1)＝０ x₃+2x₄=1 ...③
■ ③を①に代入して
■ (1+4+4+9)λ₁+(2+6)λ₂＝2
■ (2+6)8ｋ1+(1+4)λ₂＝1
■ 又は
■ 18λ₁+8λ₂＝2
■ 8λ₁+5λ₂＝1
■ 又は
■ 9λ₁+4λ₂＝1
■ 8λ₁+5λ₂＝1
■
■ 45λ₁+20λ₂＝5...×5
■ -)32λ₁+20λ₂＝4...×4
■ 13λ₁＝1
■ λ₁＝1/13
■ 9(1/13)+4λ₂=1
■ 4λ₂＝1-9/13=4/13
■ λ₂＝1/13...④
■ ｘ₁＝λ₁＝1/13
■ ｘ₂＝2λ₁＝2/13
■ ｘ₃＝2λ₁+λ₂＝2/13+1/13＝3/13
■ ｘ ₄ ＝ 3 λ ₁ +2 λ ₂ ＝3/13+2/13＝5/13
(別解)E=‖(ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄-2)²+( x₃+2x₄-1)²‖＝最小
■ ∂E/∂ｘ₁＝(ｘ₁+2ｘ₂+2ｘ₂+3ｘ₄-2)＝0
■ ∂E/∂ｘ₂＝(ｘ₁+2ｘ₂+2ｘ₂+3ｘ₄-2)＝０
■ ∂E/∂ｘ₃＝ 2(ｘ₁+2ｘ₂+2ｘ₃+3ｘ₄ -2)+(x₃+2x₄-1)＝０
■ ∂E/∂ｘ4＝ 3(ｘ₁+2ｘ₂+2ｘ₂+3ｘ₄-2)+2(x₃+2x₄-1)＝０
■ ｘ₁+2ｘ₂+2ｘ₂+3ｘ₄＝2
■ ｘ₁+2ｘ₂+2ｘ₂+3ｘ₄＝2
■ 2ｘ₁+4ｘ₂+5ｘ₂+8ｘ₄=5
■ 3ｘ₁+6ｘ₂+8ｘ₂+13ｘ₄=8
𝑥1𝑥2𝑥3𝑥4
=
1 2 2 31 2 2 323
46
58
813
+ 2238
=1
286
89 89 18 −53178 178 36 −106−6−101
−65−101
2−14
1073
2258
=
Τ1 13Τ2 13Τ3 13Τ5 13
