Nem-paraméteres predikció, Lasso közelítés

Szabó Zoltán, Lorincz András

Problémamegoldó Szeminárium

2009. nov. 12

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Motiváció

Pénzügyi id osorok elemzése (Morgan-Stanley) :Fedezési eljárások optimalizációja ↔ Lasso,

Opció árazás: nem-paraméteres úton ↔ kernel regresszió.

Funkcionális AR folyamat analízis („koktél parti”probléma) ↔ identifikáció: kernel regresszió,Nadaraya-Watson becslo.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Lasso: motiváció

Befektetési bankok (pl. MS) központi célja:állományuk folyamatos fedezése (hedge-elése), azaz

illiquid termékeik értékének becslése,piacon elérheto (liquid) termékekhez való lekötése,a folyamatosan fennálló kockázatok ellenére (incompletepiac).

a hozzájuk befutó „ügyfél faramuci termék kívánságainak”kielégítése:

Cél: olyan portfolio kialakítása, ami a kívánt termékkelazonos kifizetést ad.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Lasso: regularizáció, ritkaság

Gyakorlatban a közelíto idosorok erosen kollineárisrendszert alkotnak ⇒ rosszul kondícionált rendszerek,instabil megoldás.

Ötlet:regularizációs technikák alkalmazása:

simaságot/egyértelmuséget biztosít.

ritka reprezentáció:tranzakciós költség által is motivált,stabil Markowitz portfoliok elmélete.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Lasso: modell

Lasso modell (lineáris egyenletrendszer ritkaságikényszerekkel):

J1(x) = ‖Ax − b‖2 + λ ‖x‖1 (λ > 0) → minx

, (1)

ahol:

A: közelíto termékek (portfolio),

b: közelített termék,

λ ‖x‖1: regularizációs tag, tranzakciós költség (λ: bid-askspread),

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Lasso: portfolio újraalakítás

Portfolio újra alakításakor: kevés fedezo változó (súlyát)szeretnénk változtatni, Lasso megfogalmazásban:

J2(∆x) =∥

∥A′(x + ∆x) − b′∥

∥

2+ λ ‖∆x‖1 → min

∆x, (2)

ahol

A′, b′: új idoszakhoz tartozó értékek,

x′ = x + ∆x: módosított súlyok.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: Motiváció

Regressziós megfogalmazás:

x ∈ Rd1 7→ y ∈ R

d2 (3)

közt fennálló relációt szeretnénk megtanulni{(x i , y i)}i=1,...,n minták alapján.Példák:

Különbözo típusú házak mennyit érnek:

(NO2, bunözési ráta, szobák száma,. . . ) 7→ érték. (4)

muhold képek (spektrális suruségfüggvény integrálja kül.sávokban) 7→ egységnyi területre eso búza/kukoricatermés,opció árazás,koktél parti feladatok.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: Opció árazás

Call (put) opció: jog arra, hogy T ido múlva K áronvehetek (eladhatok) adott terméket.

Kérdés: mennyit ér ez az opció? Azaz

C(t , T , St , K , rt,T , dt,T ) =?, (5)

aholSt : a mögöttes termék aktuális ára,rt,T : kockázatmentes hozam,dt,T : osztalék.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: Black-Scholes

Speciális paraméteres modell feltevések esetén: Cexplicite számolható, pl Black-Scholes esetben

CBS(·) = Ste−dt,T (T−t)φ(b1) − Ke−rt,T (T−t)φ(b2), (6)

b1 =ln(St/K ) + (rt,T − dt,T + σ2/2)(T − t)

σ√

T − t, (7)

b2 = b1 − σ√

T − t , (8)

ahol φ a standard normális eloszlás eloszlásfüggvénye.

Gond: amennyiben nem teljesül a modell feltevésük,erosen félreáraznak. ⇒Motivált: C nem-parametrikus becslése/közelítése.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: ISA–szemlélet

Koktél parti probléma:Szereplok:

beszélok (rejtett források)–független csoportokbatömörülhetnek,mikrofonok (szenzorok).

Feladat (ISA, Independent Subspace Analysis): kevertjelekbol az eredeti források becslése.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: ISA modell

ISA modell:x t = Aet , (9)

ahole = [e1; . . . ; eM ] forrás:

em ∈ Rdm komponensei nem-Gaussok és idoben i.i.d.-k,

függetlenek: I(e1, . . . , eM) = 0.

az A ∈ RD×D keveromátrix invertálható.

Cél: x -bol W = A−1 becslése, e.

Alkalmazások: orvosi adatok (EEG, fMRI, ECG)elemzése, arcirány felismerés, gén analízis,

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: AR-ISA, fAR-ISA

Valóságosabb modell: s forrásnak van dinamikája, pl AR:

x t = As t , (10)

s t =∑Ls

i=1Fis t−i + et , (11)

ahol e mint ISA-ban. Spec.: Ls = 0-ra ISA.

Kiterjesztés (dinamika családja is ismeretlen),funkcionális AR-ISA (fAR-ISA):

x t = As t , (12)

s t = f(s t−1) + et , (13)

aholf: ismeretlen függvény; e = [e1; . . . ; eM ], mint ISA-ban.Cél: x-bol W = A−1 becslése, s, e.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: fAR-ISA megoldás

Megoldási stratégia:st funkcionális AR, xt = As t ⇒ xt is funkcionális AR

xt = Af(A−1xt−1) + Aet , (14)

Ae meghajtó zajjal és f(·) → Af(A−1·).d-függo CHT ⇒ Ae közelítoleg Gauss,e komponenseinek fgtlenek, így egy fAR fittelo adtaAe-becslésen ISA-zással kész lennénk.

Kerestetik: fAR becslo.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: fAR becslo

Elozo diáról: x funkcionális AR

x t = Af(A−1x t−1) + Aet . (15)

Ötlet: tanuljuk meg ezt az x t−1 7→ x t összefüggéstnem-parametrikus regresszióval, azaz

y i = g(x i) + n i (i = 1, . . . , T ), g(·) =?, (16)

ahol

y/x/n: válasz-/magyarázó változó; zaj

g: ismeretlen feltételes várható érték fg,

{(x i , y i)}Ti=1: mintapontok.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: kernel regresszió

Nem-paraméteres regresszió kernelekkel = kernelregresszió , pl Nadaraya-Watson becslo:

Ötlet: az g(X) = E [Y|X] ismeretlen várható érték fg-t a(x, y), x eloszlások kernel suruségfg becslésébolközelítjük.

Az adódó formula

g(x) =

∑Ti=1 y iK

( x−x ih

)

∑Ti=1 K

( x−x ih

), (17)

aholK : kernel (=suruségfg; pl Gauss),h: szélesség paraméter.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Nem-paraméteres módszerek: rekurzív NW

Ismert: A rekurzív Nadaraya-Watson technika (igenáltalános feltételek mellett) erosen konzisztens becsléstszolgáltat funkcionális AR folyamatokra

Ref.: Nadine Hilgert, Bruno Portier: Strong uniformconsistency and asymptotic normality of a kernel basederror density estimator in functional autoregressive models,arXiv, 2009.

Megoldási út:1 Funkcionális-AR fit (Nadaraya-Watson) a

xt = g(xt−1) + Aet (18)

megfigyelési folyamatra.2 Majd ISA x becsült innovációján ⇒ e, W ⇒ s.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Jóságmérce

ISA egyértelmuségek szerint a rejtett forráskomponensek

permutáció, ésés altéren belüli lineáris transzformáció

erejéig állíthatóak vissza. Ideális esetben: s = Wx-benG = WA blokk-permutációs mtx

Blokk-permutációsságra mérce : Amari-indexr(G) ∈ [0, 1]; 0–tökéletes becslés.Statisztikák ábrázolása boxplot-ok:

kvartilisek: Q1, Q2, Q3,kiugró értékek:

6∈ [Q1 − 1.5IQR, Q3 + 1.5IQR],IQR := Q3 − Q1.

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-1

e [∀dm = dim(em) = 2; D = dim(e) ≤ 12]:

Funkcionális AR becsl o (rekurzív Nadaraya-Watson) ,x ∈ R

D, β ∈ (0, 1/D):

gT (x) =

∑T−1t=1 tβDK [tβ(Xt − x)]Xt+1∑T−1

t=1 tβDK [tβ(Xt − x)](19)

Kernel: Gauss, szélesség (β = 1/Dβc ):βc = 1./[2, 4, 8, 16, 32, 64].f(u) = ‘tanh(Fu)′: F = [Fij ] = [U(0, 1)], tanhi(·):

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-2

Megfigyelés (x):

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-2

Megfigyelés (x):

Becslés ( e):

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-2

Megfigyelés (x):

Becslés ( e):

Hinton-diagram (G = WA):

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-3: M = 3 (6-dimenziós feladat)

1 2 5 10 20 50 100

10−2

10−1

100

Am

ari−

inde

x (r

)

Mintaszám (T/1000)

βc=1/2

βc=1/4

βc=1/8

βc=1/16

βc=1/32

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Illusztráció-4: M = 6 (12-dimenziós feladat)

1 2 5 10 20 50 100

10−2

10−1

100

Am

ari−

inde

x (r

)

Mintaszám (T/1000)

βc=1/8

βc=1/16

βc=1/32

βc=1/64

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés

Köszönöm a figyelmet!

Szabó Zoltán, Lorincz András Nem-paraméteres predikció, Lasso közelítés