Numerikus módszerek 1.

6. előadás: Vektor- és mátrixnormák

Lócsi Levente

ELTE IK

2013. október 14.

Tartalomjegyzék

1 Vektornormák

2 Mátrixnormák

3 Természetes mátrixnormák, avagy indukált normák

4 Mátrixnormák további tulajdonságai – válogatás

Tartalomjegyzék

1 Vektornormák

2 Mátrixnormák

3 Természetes mátrixnormák, avagy indukált normák

4 Mátrixnormák további tulajdonságai – válogatás

Emlékeztető: Vektorok „hossza”

Definíció: vektorok „hossza”

Az x ∈ Rn vektor hagyományos értelemben vett hosszát, avagy

„kettes normáját” jelölje ‖.‖2.A következőképpen számolható:

‖x‖2 :=√

〈x , x〉 =√

x⊤x =

(n∑

k=1

x2i

) 12

.

A (vektor)norma a „hossz”, „nagyság” általánosítása.

Vektornormák

Definíció: vektornorma

Legyen n ∈ N rögzített. Az ‖.‖ : Rn → R leképezéstvektornormának nevezzük, ha:

1 ‖x‖ ≥ 0 (∀x ∈ Rn),

2 ‖x‖ = 0 ⇐⇒ x = 0,

3 ‖λ · x‖ = |λ| · ‖x‖ (∀λ ∈ R, ∀x ∈ Rn),

4 ‖x + y‖ ≤ ‖x‖ + ‖y‖ (∀x , y ∈ Rn).

Azaz a leképezés „pozitív”, „pozitív homogén” és „szubadditív”(háromszög-egyenlőtlenség). Ezek a vektornormák axiómái.

Vektornormák

Állítás: skaláris szorzat által generált vektornorma

Ha adott az 〈., .〉 : Rn × Rn → R skaláris szorzat, akkor az

f (x) :=√

〈x , x〉 függvény norma. Jele: ‖x‖2.

Biz.: Nem kell. Hamarosan ismét kimondjuk.Ez a „hagyományos hossz”.

Vektornormák

Állítás: Cauchy–Bunyakovszki–Schwarz-egyenlőtlenség (CBS)

|〈x , y〉| ≤ ‖x‖2 · ‖y‖2 (x , y ∈ Rn)

Biz.: Bármely α ∈ R esetén ‖x − αy‖22 ≥ 0.

0 ≤ ‖x − αy‖22 = 〈x − αy , x − αy〉 =

= 〈x , x〉︸ ︷︷ ︸

‖x‖22

−2α 〈x , y〉 + α2 〈y , y〉︸ ︷︷ ︸

‖y‖22

(∀α ∈ R).

Diszkrimináns nempozitív: 4α2 〈x , y〉2 − 4α2 ‖x‖22 · ‖y‖2

2 ≤ 0, így

〈x , y〉2 ≤ ‖x‖22 · ‖y‖2

2 .

Vektornormák

Állítás: Gyakori vektornormák (1, 2, ∞)

A következő formulák vektornormákat definiálnak Rn felett:

• ‖x‖1 :=n∑

i=1|xi | (Manhattan-norma),

• ‖x‖2 :=

(n∑

i=1|xi |2

)1/2

(Euklideszi-norma),

• ‖x‖∞ :=n

maxi=1

|xi | (Csebisev-norma).

Biz.: Be kell látni, hogy teljesítik a vektornormák 4 axiómáját.

‖.‖1: mindjárt, táblán; ‖.‖∞: hasonlóan, házi feladat;‖.‖2: nem sokkal bonyolultabb, CBS alapján, nem kell.

Vektornormák

Példa: vektornormák

Számítsuk ki a következő vektorok 1, 2, ∞ normáját:

x =

(

34

)

, x =

4−81

.

Szemléletesen?

Vektornormák

Állítás: normák közötti egyenlőtlenségek

• ‖x‖∞ ≤ ‖x‖1 ≤ n · ‖x‖∞,

• ‖x‖∞ ≤ ‖x‖2 ≤ √n · ‖x‖∞,

• ‖x‖2 ≤ ‖x‖1 ≤ √n · ‖x‖2,

• sőt ezek alapján ‖x‖∞ ≤ ‖x‖2 ≤ ‖x‖1.

Biz.: Nem kell.

(Az elsőbe könnyű belegondolni, a negyedikre láttunk példát.)

Vektornormák

Definíció: ekvivalens normák

Az ‖.‖a és ‖.‖b vektornormák ekvivalensek, ha ∃c1, c2 ∈ R+, hogy

c1 · ‖x‖b ≤ ‖x‖a ≤ c2 · ‖x‖b (∀x ∈ Rn).

Állítás: végesdimenziós normák ekvivalenciája

Tetszőleges Rn-en értelmezett vektornorma ekvivalens az

Euklideszi-vektornormával. (Azaz adott végesdimenziós térbenminden norma ekvivalens.)

Vektornormák

Állítás: p-normák

A következő Rn → R függvények is vektornormákat definiálnak:

‖x‖p :=

(n∑

i=1

|xi |p)1/p

(p ∈ R, 1 ≤ p < ∞).

Biz.: Nem kell, Minkovszki-egyenlőtlenség.

Megjegyzések:

• 0 ≤ p < 1 esetén nem norma,

• p1 ≤ p2 =⇒ ‖x‖p1≥ ‖x‖p2

,

• Speciális esetek: p = 1 ‖x‖1 , p = 2 ‖x‖2,

• Sőt: limp→∞

‖x‖p = ‖x‖∞.

Tartalomjegyzék

1 Vektornormák

2 Mátrixnormák

3 Természetes mátrixnormák, avagy indukált normák

4 Mátrixnormák további tulajdonságai – válogatás

Mátrixnormák

Definíció: mátrixnorma

Legyen n ∈ N rögzített. Az ‖.‖ : Rn×n → R leképezéstmátrixnormának nevezzük, ha:

1 ‖A‖ ≥ 0 (∀A ∈ Rn×n),

2 ‖A‖ = 0 ⇐⇒ A = 0,

3 ‖λ · A‖ = |λ| · ‖A‖ (∀λ ∈ R, ∀A ∈ Rn×n),

4 ‖A + B‖ ≤ ‖A‖ + ‖B‖ (∀A, B ∈ Rn×n),

5 ‖A · B‖ ≤ ‖A‖ · ‖B‖ (∀A, B ∈ Rn×n).

Ugyanaz, mint a vektornormáknál, plusz: „szubmultiplikativitás”.Ezek a mátrixnormák axiómái.

Megj.: x , |x | , x , x , ‖x‖ , A, A, |||A|||.

Mátrixnormák

Definíció: Frobenius-norma

A következő függvényt Frobenius-normának nevezzük:

‖.‖F : Rn×n → R, ‖A‖F =

n∑

i=1

n∑

j=1

|aij |2

1/2

.

Állítás: Frobenius-norma

A ‖.‖F függvény valóban norma.

Biz.: 1–4. következik a ‖.‖2 vektornorma tulajdonságaiból. Kell.Az 5. belátható CBS segítségével. Nem kell.

Mátrixnormák

Példa: egyszerű mátrixnormák

(a) Számítsuk ki a következő mátrixok Frobenius-normáját.

A =

(

1 −4−2 2

)

, B =

(

3 21 5

)

.

(b) Mutassuk meg, hogy ‖M‖△ := maxi ,j

|mij | nem mátrixnorma,

viszont ‖M‖♥ := n · maxi ,j

|mij | már igen. (Házi feladat.)

(c) Számítsuk ki a fenti mátrixok ‖.‖♥ normáját.

Tartalomjegyzék

1 Vektornormák

2 Mátrixnormák

3 Természetes mátrixnormák, avagy indukált normák

4 Mátrixnormák további tulajdonságai – válogatás

Természetes mátrixnormák, avagy indukált normák

Definíció: indukált norma, természetes mátrixnormák

Legyen ‖.‖v : Rn → R tetszőleges vektornorma. Ekkor a

‖.‖ : Rn×n → R, ‖A‖ := supx 6=0

‖Ax‖v

‖x‖v

függvényt a ‖.‖v vektornorma által indukált mátrixnormánakhívjuk. Egy mátrixnormát természetesnek nevezünk, ha van olyanvektornorma, ami indukálja.

Tétel: indukált normák

Az „indukált mátrixnormák” valóban mátrixnormák.

Biz.: Táblán. Meggondoltuk.

Természetes mátrixnormák, avagy indukált normák

Megjegyzések:

• Átfogalmazás:

‖A‖ = supx 6=0

‖Ax‖v

‖x‖v

= sup‖y‖=1

‖Ay‖v .

• A sup helyett max is írható.

• Átfogalmazás:

‖A‖ = supx 6=0

‖Ax‖v

‖x‖v

=⇒ ‖Ax‖v

‖x‖v

≤ ‖A‖ =⇒ ‖Ax‖v ≤ ‖A‖·‖x‖v .

Természetes mátrixnormák, avagy indukált normák

Definíció: illeszkedő normák

Ha egy mátrix- és egy vektornormára

‖Ax‖v ≤ ‖A‖ · ‖x‖v (∀x ∈ Rn, A ∈ R

n×n)

teljesül, akkor illeszkedőknek nevezzük őket.

Állítás: természetes mátrixnormák illeszkedéséről

A természetes mátrixnormák illeszkednek az őket indukálóvektornormákhoz.

Biz.: Láttuk. Az x = 0 eset meggondolandó.

Természetes mátrixnormák, avagy indukált normák

Milyen mátrixnormákat indukálnak az elterjedt vektornormák?

Tétel: Nevezetes mátrixnormák (1, 2, ∞)

A ‖.‖p (p = 1, 2, ∞) vektornormák által indukált mátrixnormák:

• ‖A‖1 =n

maxj=1

n∑

i=1|aij | (oszlopnorma),

• ‖A‖∞ =n

maxi=1

n∑

j=1|aij | (sornorma),

• ‖A‖2 =

(n

maxi=1

λi(A⊤A)

)1/2

(spektrálnorma).

Jel.: λi(M): az M mátrix i-edik sajátértéke (Mv = λv , v 6= 0).

Természetes mátrixnormák, avagy indukált normák

A bizonyítás „dallama”:• Az adott f (A) értékre: ‖Ax‖v ≤ f (A) · ‖x‖v .• Van olyan x vektor, hogy ‖Ax‖v = f (A) · ‖x‖v .• Ekkor az f (A) érték, tényleg a ‖.‖v vektornorma által indukált

mátrixnorma, ezért jelölhetjük így: ‖A‖v .

Bizonyítás ‖.‖1 esetén: Állítás: ‖A‖1 =n

maxj=1

n∑

i=1

|aij |.

‖Ax‖1 =n∑

i=1

|(Ax)i | =n∑

i=1

∣∣∣∣∣∣

n∑

j=1

aijxj

∣∣∣∣∣∣

≤n∑

i=1

n∑

j=1

|aij | · |xj | =

=n∑

j=1

|xj | ·

n∑

i=1

|aij |︸ ︷︷ ︸

≤

(

nmaxj=1

n∑

i=1

|aij |)

︸ ︷︷ ︸

· ‖x‖1 .

Legyen x = ek , ahol a k-adik oszlopösszeg maximális. Ekkor

‖Aek‖1 = . . .︸︷︷︸

‖ek‖1︸ ︷︷ ︸

1

.

Természetes mátrixnormák, avagy indukált normák

Bizonyítás ‖.‖∞ esetén: Állítás: ‖A‖∞

=n

maxi=1

n∑

j=1

|aij |.

• A becslés ugyanolyan stílusú, mint ‖.‖1 esetén. Házi feladat.

• Válasszuk az

x =

±1...

±1

vektort az egyenlőséghez, megfelelően választott előjelekkel. . .

Bizonyítás ‖.‖2 esetén: Táblán. Állítás: ‖A‖2 =

(n

maxi=1

λi (A⊤A)

)1/2

.

• Előbb belátjuk, hogy a sajátértékek nemnegatívak.

• A becslés a diagonalizálás alapján adódik.

• Válasszuk a legnagyobb sajátértékhez tartozó sajátvektort azegyenlőséghez.

Tartalomjegyzék

1 Vektornormák

2 Mátrixnormák

3 Természetes mátrixnormák, avagy indukált normák

4 Mátrixnormák további tulajdonságai – válogatás

Mátrixnormák további tulajdonságai

Állítás

A Frobenius-norma nem természetes mátrixnorma.

Biz.: Tekintsük az I ∈ Rn×n egységmátrix normáját.

• Indukált normák esetén ‖I‖ = supx 6=0

‖Ix‖v

‖x‖v

= 1.

• Másrészt ‖I‖F =√

n.

• Tehát nincs olyan vektornorma, ami a Frobenius-normátindukálná (ha n > 1).

Mátrixnormák további tulajdonságai

Állítás

A Frobenius-norma illeszkedik a kettes vektornormához.

Biz.: CBS segítségével:

‖Ax‖22 =

n∑

i=1

n∑

j=1

aijxj

2

≤n∑

i=1

n∑

j=1

|aij |2 ·n∑

j=1

|xj |2

= ‖A‖2F ·‖x‖2

2 .

Mátrixnormák további tulajdonságai

Definíció: spektrálsugár

Egy A ∈ Rn×n mátrix spektrálsugara (A) :=

nmaxi=1

|λi(A)|.

Állítás: spektrálsugár és norma

(A) ≤ ‖A‖

Biz.: Belátjuk, hogy |λ| ≤ ‖A‖. (Lejjebb v 6= 0.)

Av = λv

Avv⊤ = λvv⊤

‖A‖ ·∥∥∥vv⊤

∥∥∥ ≥

∥∥∥Avv⊤

∥∥∥ =

∥∥∥λvv⊤

∥∥∥ = |λ| ·

∥∥∥vv⊤

∥∥∥

Mátrixnormák további tulajdonságai

Feladatok

Igazoljuk a következő állításokat.

(a) Ha A⊤A = AA⊤ (normális), akkor ‖A‖ = (A).(Spec.: ha A szimmetrikus, akkor normális.)

(b) Ha Q ortogonális, akkor• ‖Qx‖2 = ‖x‖2,• ‖Q‖2 = 1,• ‖QA‖2 = ‖AQ‖2 = ‖A‖.

(c) ‖A‖2F = tr (A⊤A), ahol tr (B) :=

n∑

k=1bkk a mátrix nyoma.

(d) Ha Q ortogonális, akkor ‖QA‖F = ‖AQ‖F = ‖A‖F .

(e) ‖A‖2F =

n∑

i=1λi(A

⊤A).

(f) ‖.‖F és ‖.‖2 ekvivalens mátrixnormák.

Példák Matlab-ban

1 Példák p-normákra, egységgömbökre (p = 1, 2, ∞, . . . ).

2 Indukált mátrixnorma szemléltetése R2, p = 2 esetén.

3 Indukált mátrixnormák közelítő számítása tetszőleges Rn és p

esetén (m = 100, . . . , 1000 vektor próbájával).