Filip Fey Kalibracija Skoring modela - mathos.unios.hrmdjumic/uploads/diplomski/FEY21.pdf · Kalibracija Skoring modela Diplomski rad Osijek, 2014. Sveu cili ste J.J.Strossmayera

Sveuciliste J. J. Strossmayera u Osijeku

Odjel za matematiku

Sveucilisni diplomski studij matematike

Filip Fey

Kalibracija Skoring modelaDiplomski rad

Osijek, 2014.

Sveuciliste J. J. Strossmayera u Osijeku

Odjel za matematiku

Sveucilisni diplomski studij matematike

Filip Fey

Kalibracija Skoring modelaDiplomski rad

Mentor: prof.dr.sc. Natasa Sarlija

Komentor: prof.dr.sc. Mirta Bensic

Osijek, 2014.

Sadrzaj

1 Uvod 1

2 Upravljanje kreditnim rizicima 2

2.1 Kredit skoring modeli . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.1 Opis skoring modela koristenih u radu . . . . . . . . . 6

2.2 Basel regulativa . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.1 Basel I . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.2 Basel II . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.3 Basel III . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3 Kalibracija skoring modela 14

3.1 Kalibracija modela logisticke regresije . . . . . . . . . . . . . . 15

3.1.1”Offset” metoda . . . . . . . . . . . . . . . . . . . . . . 19

3.2 Odredivanje granicne vrijednosti PD-a . . . . . . . . . . . . . 20

3.2.1 Odredivanje granicne vrijednosti na temelju zeljenog

udjela losih u ukupno odobrenim zajmovima . . . . . . 22

3.2.2 Odredivanje optimalne granicne vrijednosti iz pozicije

maksimizacije dobiti . . . . . . . . . . . . . . . . . . . 23

4 Back-test kalibracija 24

4.1 Validacija po Baselu II . . . . . . . . . . . . . . . . . . . . . . 24

4.2 Back-test kalibracija . . . . . . . . . . . . . . . . . . . . . . . 27

4.3 Klasifikacijska tablica . . . . . . . . . . . . . . . . . . . . . . . 29

4.4 Brier Skor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.5 Graficki opis kalibracije . . . . . . . . . . . . . . . . . . . . . . 33

4.6 Binomni test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.7 Kalibracijski test uz pomoc normalne distribucije . . . . . . . 38

4.8 Hosmer-Lemeshow test . . . . . . . . . . . . . . . . . . . . . . 41

4.9 Spiegelhalterov test . . . . . . . . . . . . . . . . . . . . . . . . 44

4.10 Testiranje bezuvjetnih PD-ova pomocu vremenskog niza . . . 49

5 Literatura 51

6 Sazetak 53

7 Title and summary 54

8 Zivotopis 55

1 UVOD 1

1 Uvod

U ovom radu se proucava kalibracija skoring modela, koja je potrebna da

bi njegova upotreba bila u skladu sa Baselskom regulativom. Kalibraciju

mozemo shvatiti kao svojstvo ili kao proces. Kalibracija kao svojstvo je spo-

sobnost modela da kao izlazni rezultat daje nepristrane procjenje vjerojat-

nosti da ce klijent zavrsiti u stanju neizvrsavanja obveza (PD1), a kalibracija

kao proces je pridruzivanje PD-a svakoj mogucoj skor vrijednosti koja moze

biti rejting razred ili neka druga vrsta skor vrijednosti. Nadalje, proucava

naknadnu provjeru tocnosti kalibracije (back-testing) sto je takoder jedan od

obveznih procesa koji regulira Basel II. Cilj je rada objasniti razne postupke

za provodenje kalibracije i provjeru njezine tocnosti.

U prvom se dijelu govori opcenito o kredit skoring modelima, Baselskoj re-

gulativi te se opisuju dva kredit skoring modela koji su koristeni u radu kako

bi se na njima primijenili razliciti postupci kalibracije te provjere njezine

tocnosti.

U drugom se dijelu objasnjava sam pojam kalibracije. Najvise se paznje po-

svecuje kalibraciji logisticke regresije. Matematicki je objasnjen razlog zbog

kojeg ju je potrebno provesti te se opisuje njezina provedba. Nakon toga je

objasnjeno sto je to granicna vrijednost PD-a te nacini na koji banka moze

optimalno odabrati tu vrijednost u skladu sa svojom poslovnom politikom.

U cetvrtom je dijelu opisana validacija regulirana Baselom II s naglaskom na

provjeri tocnosti kalibracije. Opisani su i razliciti pokazatelji kvalitete kali-

bracije skoring modela te statisticki testovi koji ispituju tocnost kalibracije.

1probability of default

2 UPRAVLJANJE KREDITNIM RIZICIMA 2

2 Upravljanje kreditnim rizicima

Duffie i Singleton (2003) su podijelili rizike s kojima se banka suocava u svom

poslovanju na:2

1. Trzisne rizike

2. Kreditne rizike

3. Rizike likvidnosti

4. Operativne rizike

5. Sustavne rizike

Ovaj rad se bavi iskljucivo kreditnim rizikom.

Kreditni rizik nastaje kao posljedica financijske transakcije izmedu davatelja

i uzimatelja sredstava. To je rizik da uzimatelj sredstava nece postivati uvjete

ugovora i time nanijeti financijsku stetu davatelju sredstava. On se definira

kao vjerojatnost da ce klijent koji je dobio kredit otici u status neispunjavanja

obveza.3 U daljnjem cemo tekstu vjerojatnost da ce klijent otici u status

neispunjavanja obveza oznacavati skracenicom PD (probability of default).

Prema odluci o adekvatnosti kapitala koju je propisala Hrvatska narodna

banka, status neispunjavanja obveza druge ugovorne strane nastaje kada je

ispunjen neki od sljedecih uvjeta:4

1. Kreditna institucija smatra vjerojatnim da druga ugovorna strana nece

u cijelosti podmiriti svoje obveze nastale na osnovi ugovora na temelju

kojih su kreditna institucija ili bilo koja clanica grupe kreditnih insti-

tucija kojoj ta kreditna institucija pripada izlozene kreditnom riziku ne

uzimajuci u obzir mogucnost naplate iz instrumenata osiguranja (ako

je obveza osigurana instrumentima osiguranja)

2Preuzeto iz [7]3Preuzeto iz [11]4Odluka o adekvatnosti jamstvenog kapitala kreditnih institucija, Zagreb, lipanj 2013,

dostupno na www.hnb.hr


2. Druga ugovorna strana vise od 90 dana nije ispunila svoju dospjelu

obvezu po bilo kojoj materijalno znacajnoj kreditnoj obvezi prema kre-

ditnoj instituciji ili bilo kojoj clanici grupe kreditnih institucija kojoj

ta kreditna institucija pripada

Kreditna se obveza smatra materijalno znacajnom ako je ispunjen jedan od

sljedecih uvjeta:5

1. Za duznike iz kategorije izlozenosti prema stanovnistvu ukupan iznos

dospjele obveze pojedinog duznika prelazi 1750 kn

2. Za duznike iz kategorija izlozenosti prema trgovackim drustvima, sredisnjim

drzavama i sredisnjim bankama te institucijama, ukupan iznos dospjele

obveze pojedinog duznika prelazi 1750 kn i dospjeli iznos cini vise od

2,5% ukupne izlozenosti kreditne institucije prema pojedinom duzniku

Kreditna institucija moze uzeti u obzir i dodatne pokazatelje materijalne

znacajnosti dospjele obveze koji su prikladni za duznike i proizvode kreditne

institucije ili odgovaraju specificnosti trzista na kojem kreditna institucija

posluje. Ako kreditna institucija namjerava postaviti dodatne pokazatelje

materijalne znacajnosti, duzna je napraviti analizu radi utvrdivanja postotka

duznika koji se, bez intervencije kreditne institucije, iz statusa neispunjavanja

obveza vrate u normalan status.6

Kreditna sposobnost se moze ispitati na dva nacina:7

1. Primjenom klasicne kreditne analize (kvalitativno)

2. Primjenom kredit skoring/rejting modela (kvantitativno)

Klasicnom kreditnom analizom daje se kvalitativna ocjena kreditnog rizika.

Klasicna kreditna analiza je analiza zajmotrazitelja koja pociva na subjektiv-

noj procjeni skupine profesionalaca - kreditnih referenata i analiticara. Kako

5Odluka o adekvatnosti jamstvenog kapitala kreditnih institucija, Zagreb, lipanj 2013,dostupno na www.hnb.hr

6Odluka o adekvatnosti jamstvenog kapitala kreditnih institucija, Zagreb, lipanj 2013,dostupno na www.hnb.hr

7Preuzeto iz [11]


bi procijenili mogucnosti da ce klijent udovoljiti nastupajucim obvezama, kre-

ditni referenti imaju na raspolaganju standardne analiticke tehnike. Unatoc

tome, ne mozemo iskljuciti subjektivnost odnosno iskustvo kreditnih refere-

nata i analiticara prilikom ocjenjivanja pojedinog zajmotrazitelja. Klasicna

kreditna analiza rezultira stavljanjem klijenta u jednu od rizicnih kategorija

koje takoder oznacavaju odobravanje ili odbijanje kreditnog zahtjeva.8 S vre-

menom se sa primjenom klasicne kreditne analize pokazalo da je ona zaista

neophodna i vazna, ali i problematicna te da ima mnoge ozbiljne nedostatke

medu kojima je i visok trosak odrzavanja takvog sustava.9

S druge strane, kvantitativnom analizom izracunavamo vjerojatnost da ce

klijent otici u stanje neizvrsenja obveza primjenjujuci kredit skoring/rejting

model.

Najcesce je ipak koristen hibridni model kao kombinacija statistickog i tradi-

cionalnog pristupa. Najcesce se pojavljuje u obliku statistickog modela, ciji

izlazni rezultat moze oboriti odluka eksperta.10

2.1 Kredit skoring modeli

Unazad zadnjih nekoliko desetljeca, izazvane problemima i nedostacima kod

primjene klasicne kreditne analize, zapocele su promjene u cjelokupnom pos-

lovanju banaka. Naime, klasicna kreditna analiza se pokazala nedovoljnom

za upravljanje kreditnim rizicima. Kako je bankarska praksa postojala sve

slozenija, tako su se poceli razvijati statisticki kredit skoring modeli koji su

znanje eksperata pretvarali u matematicko-statisticki model. Takvi su modeli

pronalazili funkciju ulaznih varijabli koja najbolje diskriminira izmedu dvije

grupe zajmotrazitelja: onih koji placaju i onih koji ne placaju. Napredak

u mjerenju kreditnog rizika svakako su omogucile i statisticke metode, kao

sto su razni tipovi regresijskih analiza, diskriminacijska analiza, zatim ma-

tematicko programiranje, simulacije, neuralne mreze, cluster metode i tako

8Preuzeto iz [11]9Preuzeto iz [13]

10Preuzeto [16]


dalje 11

Kreditne institucije imaju pedesetogodisnju tradiciju skoriranja svojih kli-

jenata. Ono pruza potporu kod donosenja odluke o odobravanju kredita.

Pretezna metodologija skoriranja koristena od strane kreditnih institucija

se u grubo moze opisati kao koristenje skor varijabli temenjenih na statis-

tici.12 Uvodenjem kredit skoring i rejting modela postignuto je niz pred-

nosti u kvantifikaciji kreditnog rizika. Kvantitativni modeli kreditnog rizika

svojom objektivnoscu pomazu u donosenju pravilnih poslovnih odluka. Sta-

tisticki utemeljen kredit skoring sistem takoder omogucuje financijskim ins-

titucijama da automatski prihvate ili odbace rutinske odluke te da preostalo

vrijeme poklone onim zajmotraziteljima koji su granicni slucajevi i kod kojih

nije sasvim jasno treba li ih odbaciti ili prihvatiti.13

Terminoloski promatrano, nekada su se rejting i skoring smatrali razlicitim

pojmovima. To je djelomicno radi toga sto se primjenjuju na populacijama

razlicitih karakteristika. Rejting je najcesce koristen za procjenjivanje obvez-

nica izdanih od strane velikih korporacija, a skoring je prvenstveno koristen za

odobravanje maloprodajnih kredita. Sto se tice metodologije, rejting sistem

je cesto razvijen od strane iskusnih prakticara, a razvoj skoring varijabli je po-

sao statistickih strucnjaka. S razvojom modernog kreditnog menadzmenta,

postalo je uobicajeno promatrati ta dva pojma kao jednaka zbog toga sto

je danas i rejting i skoring model koristen prvenstveno radi procjene PD-a

zajmoprimaca. PD je kljucan kod donosenja odluke o odobravanju kredita,

odredivanja cijene kredita i odredivanja visine kapitalnog zahtjeva.14

Modeli kreditnog rizika traze odgovor na sljedece pitanje: S obzirom na pro-

teklo iskustvo i pretpostavke o buducnosti, koji je rizik da obecani tijek go-

tovine nece dolaziti. Cilj novih kredit skoring modela koji se razvijaju upo-

trebom razlicitih metodologija je svakako i povecanje preciznosti sto znaci

dodjeljivanje sto vise kredita kreditno sposobnim klijentima i odbijanje sto

vise onih klijenata koji nisu kreditno sposobni, sto u konacnici dovodi do

11Preuzeto iz [13]12Preuzeto iz [16]13Preuzeto iz [13]14Preuzeto iz [16]


povecanja dobiti kreditne institucije.15

2.1.1 Opis skoring modela koristenih u radu

U svrhu diplomskog rada su razvijena dva kredit skoring modela za procjenu

rizicnosti kreditiranja u maloprodajnom segmentu. Modeli su izgradeni me-

todom logisticke regresije u statistickom programskom paketu R.

Podaci za izgradnju prvog modela se sastoje od 374 klijenta od cega su

187 losi, a 187 dobri. Stopa losih klijenata u tim podacima je 50%. Ti

podaci predstavljaju dio podataka izvucenih iz vece baze podataka za koju

cemo pretpostaviti da predstavlja portfelj neke kreditne institucije. Model je

razvijen na cijelom uzorku i procjenjeni PD-ovi su kalibrirani.

Podaci za drugi model su zapravo dio podataka iz baze podataka za koju

smo pretpostavili da predstavlja vec navedeni portfelj. Portfelj se sastoji od

3165 klijenta od kojih su 420 losi, a 2745 dobri. Stopa losih u portfelju je

priblizno 13.27%. Za sam razvoj modela koristeno je 80% podataka i to na

nacin da se nasumicno uzelo 80% losih i 80% dobrih kako bi stopa losih ostala

nepromjenjena. Tako smo dobili 2532 podatka od kojih su 336 losi, a 2196

dobri.

Ostalih 20% podataka iz portfelja smo iskoristili za procjenu vjerojatnosti da

ce klijent zavrsiti u stanju neizvrsenja obveza redom pomocu prvog i drugog

modela te za njihovu kalibraciju i back-test kalibraciju.

Uvedimo oznake:

• Model 1 - model izgraden na uzorku od 187 dobrih i 187 losih klijenata

• Model 2 - model izgraden na uzorku od 2196 dobrih i 336 losih klijenata

Sve ulazne varijable koje vec nisu bile u obliku kategorija su kategorizirane.

Pri tome smo koristili k-means algoritam po L1 normi. Iznimka tome je va-

rijabla staz. Nakon toga je χ2 testom utvrdena prediktivna sposobnost svake

15Preuzeto iz [13]


Tablica 1: Ulazne varijable

varijabla opis varijable kategorije

bracno bracno stanje

1 - neudana/neozenjen, zivi u za-jednici2 - udata/ozenjen3 - udovica/udovac4 - razvedena/razveden

stan stambeno stanje

1 - unajmljen2 - stanarsko pravo3 - zivi s roditeljima4 - vlastita kuca/stan5 - s roditeljima6 - ostalo

nacin nacin placanja1 - uplatnice2 - trajni nalog

dob dob klijentakategorizirano u 5 kategorija k-means algoritmom po L1 normi ukategorije od 1 do 5

staz radni staz u mjesecima

0 - umirovljenik1 - nema podatka2 - 1-243 - 25-484 - 49-705 - vise od 70

gotovina cijena omjer gotovine i cijenekategorizirano u 5 kategorija k-means algoritmom po L1 normi ukategorije od 1 do 5

varijable na podacima za Model 1. Na razini znacajnosti 0.05, utvrdene su

varijable koje doprinose razlikovanju klijenata. To su kategorijalne varija-

ble bracno, stan i nacin te kategorizirane inacice varijabli dob, staz i goto-


Tablica 2: Tablica regresijskih koeficijenata

varijabla Model 1 Model 2slobodni clan -0.6075 -1.85221bracno.2 -0.0734 0.22554bracno.3 0.4214 -0.01007bracno.4 0.5135 -1.15692stan.2 -0.2418 -0.70705stan.3 -0.7340 1.03641stan.4 0.2944 0.72015stan.5 -0.4078 0.66052stan.6 0.2444 0.85550nacin.2 0.7283 -0.30395staz.1 0.3364 -0.04120staz.2 -0.1260 -1.25116staz.3 -0.2625 -1.00393staz.4 -1.0637 -0.37675staz.5 -1.0909 -0.58689dob.2 0.1576 1.03246dob.3 -0.3314 0.30590dob.4 -0.5224 0.39910dob.5 -1.0229 -0.55632gotovina cijena.2 1.6697 -0.69562gotovina cijena.3 0.6987 -0.36102gotovina cijena.4 1.2608 -0.77175gotovina cijena.5 1.3642 -0.63771

vina cijena. Navedene su varijable koristene kod izgradnje oba modela. To

je ucinjeno jer je svrha rada promotriti ucinak kalibracije skoring modela na

nacin da se rezultati kalibriranog Modela 1 usporede sa rezultatima Modela

2. Kada bi u Model 2 ukljucili jos neke varijable, jedan dio razlike izmedu

rezultata Modela 1 i Modela 2 bi bio upravo posljedica te cinjenice. Navedeni

varijable su opisane u tablici 1, a regresijke dobiveni regresijski koeficijenti

se mogu ocitati u tablici 2.


2.2 Basel regulativa

Basel regulativa propisuje pokrivanje rizika kojima su izlozene financijske

institucije kapitalom, a donosi ju Baselski odbor (Basel Committee on Ban-

king Supervision). Taj se odbor sastaje u Baselu te od tuda potjece i naziv

regulative. Baselski odbor je osnovan 1975. U pocetku se sastojao od visih

predstavnika bankovnih nadzornih tijela i sredisnjih banaka iz zemalja G10,

da bi se 2009. godine prosirio svoje clanstvo i danas se sastoji od 27 zemalja.

Baselski odbor je prepoznao potrebu za medunarodnim sporazumom kako bi

se ojacala stabilnost medunarodnog bankarskog sustava i kako bi se uklonile

nejednakosti u konkurentnosti banaku koje proizlaze iz razlicitih visina jam-

stvenog kapitala svake pojedine drzave. Na tragu te potrebe, Baselski odbor

1988. godine odobrava i izdaje sustav mjerenja kapitala poznatog kao Basel

I (Basel Capital Accord).16

2.2.1 Basel I

Basel I je imao za cilj pruziti metode kojima financijske institucije mogu

odrediti minimumum svojih potreba za jamstvenim kapitalom. U spora-

zumu je predstavljen sustav mjerenja kapitala u kojem banke moraju podi-

jeliti svoju aktivu u cetiri razreda: pozajmice vladama OECD-a, pozajmice

bankama OECD-a, hipotekarne kredite i sve ostale pozajmice. Svakoj klasi

se pridruzuju ponderi rizika redom 0%, 20%, 50% i 100%. Umnozak ukupne

izlozenosti i pondera rizika za svaku klasu zove se ponderirana aktiva. Basel

I postavlja minimalni omjer kapitala naprema ponderiranoj aktivi na 8%.17

Taj minimalni omjer zovemo stopom adekvatnosti kapitala. U Hrvatskoj on

iznosi 10%.18 Basel I je zaustavio trend smanjivanja i doveo do povecanja

kapitala banaka.19

16Preuzeto iz [1]17preuzeto iz [7]18Zakon o bankama, objavljen u Narodnim novinama, br. 84, 2012.19Preuzeto iz [12]


2.2.2 Basel II

Basel I nije uspio adekvatno odgovoriti na sva bitna pitanja te Baselski od-

bor od lipnja 1999. objavljuje nekoliko prijedloga revidiranja postojeceg Ba-

sel I okvira. Konacan tekst Basela II objavljen je u lipnju 2004., a aktualni

sluzbeni start Basela II u razvijenim zemljama krenuo je sa 31.12.2006. go-

dine. Hrvatska je uskladila svoju regulativu s postavkama Basela II cija je

primjena zapocela s 01.01.2009. godine.20

Basel II se temelji na tri stupa. To su:21

1. Minimalni kapitalni zahtjevi

2. Nadzor nad adekvatnoscu kapitala

3. Trzisna disciplina

Basel II definira kolika je vrijednost vlastitog kapitala banke dostatna za

pokrice svih neocekivanih gubitaka. Svrha toga je da vlastiti kapital koji

ima primarnu funkciju zastite banke od rizika insolventnosti bude uvijek

odgovarajuce vrijednosti prilagodene rizicnoj izlozenosti banke.22

Metode mjerenja kreditnog rizika prema Baselu II su:23

1. Standardizirani pristup - SA

2. Osnovni pristup zasnovan na internim rejting sustavima - FIRB

3. Napredni pristup zasnovan na internim rejting sustavima - AIRB

Jedna od glavnih razlika u odnosu na Basel I okvir je u tome da su znacajno

povecane mogucnosti banaka da koriste interne procjene rizika kao ulazne pa-

rametre kod odredivanja visine kapitalnih zahtijeva, iako banke i dalje mogu

koristiti standardiziran pristup (SA) u kojem se koriste fiksne rizicne tezine

i ne pravi se razlika na temelju stvarnog rizika. Pristup kod kojeg se visina



kapitalnih zahtjeva odreduje na temelju internih rizicnih procjena zove se

IRB (internal ratings based) pristup. Njegova posljedica je nastanak mnogo

vise rizicnih tezina te veca osjetljivost na rizik.24

Kod IRB pristupa, cetiri ulazna parametra su potrebna za odredivanje kre-

ditnog rizika i i kalkulacije kapitalnih zahtjeva. To su procjene PD-a, LGD-a

(loss given default), EAD-a (expousure at default) i dospijece koje mjeri pre-

ostalo vrijeme ekonomskog dospijeca izlozenosti (the remaining maturity of

the loan). LGD, EAD i dospijece nisu tema ovog rada. IRB pristupom, ban-

kama je dopusteno odrediti samostalno sve navedene parametre. Baselski

odbor je odredio formule koje se moraju koristiti u kombinaciji sa informa-

cijama banaka za odredivanje rizicnih tezina.25

Opcenito imamo 2 vrste IRB pristupa. To su the FIRB (Foundation IRB

Approach) i AIRB (Advanced IRB Approach). Kod FIRB-a banka odreduje

PD pojedinog klijenta a supervizor odreduje ostale ulazne parametre (LGD,

EAD, dospijece) dok kod AIRB-a banke mogu same odredivati sve rizicne

parametre.26

S obzirom da je proces uvodenja IRB poprilicno zahtjevan i iziskuje visoke

troskove, za ocekivati je da ce ga u Hrvatskoj primjenjivati velike banke sa

dobro razvijenim internim modelom upravljanja kreditnim rizikom, dok ce

za male regionalne banke standardizirani pristup biti prihvatljiviji.27

Da bi se banci dozvolilo koristenje IRB pristupa, one moraju zadovoljiti mi-

nimalne uvjete. Jedan od uvjeta je i taj da banke moraju procijeniti PD za

svaki zajam. Tipicno, portfelj pozajmica se moze sastojati od vise klasa po-

zajmica: pozajmice za maloprodaju, hipotekarni krediti, pozajmice za male

poslove i pozajmice za velike poslove. Bankama je dopusteno koristiti za-

sebne PD modele za svaku klasu pozajmica.

Implementacijom Basela II, mnoga tehnicka pitanja vezana za razvoj i ka-

libraciju modela kreditnog rizika dobivaju na vaznosti. Banke su takoder

duzne ulagati puno napora u procjenu adekvatnosti njenog kapitala, a super-



vizori su duzni procijeniti valjanost tih procjena. Zajmodavci stoga trebaju

uvjerljivu i opcenito prihvacenu validacijsku metodologiju da bi uvjerili nji-

hove supervizore u dobru izvedbu njihovih skoring modela. To se posebno

odnosi na banke koje se odluce na IRB pristup kod procijene kapitalnih zah-

tjeva.28

2.2.3 Basel III

Jedan od razloga zbog kojih je kriza koja je pocela 2007. je taj sto se bankarski

sektori u mnogim zemljama nisu mogli nositi sa gubicima povezanim sa rizi-

cima njihovog poslovanja. Razlog tome je u postupnom smanjivanju kolicine

i kvalitete osnovnog kapitala banaka te nedovoljnim sredstvima za osiguranje

rizika likvidnosti. Buduci da su danas svi subjekti ekonomije povezani preko

niza financijskih transakcija, slabosti financijskog sektora su se momentalno

prosirile na realni sektor u vidu smanjenja dostupnosti kredita i opce lik-

vidnosti. Na kraju je javni sektor bio prisiljen ubrizgati injekciju financijske

pomoci bez presedana u financijski sektor kako bi se citav sustav spasio, sto

su u konacnici platili porezni obveznici. Posljedice na ekonomije s epicentrom

krize su se osjetile odmah, medutim, ona se prebacila na sirok krug zemalja

sirom zemlje kod kojih kanali njenog prijenosa nisu toliko izravni. Prijenos

krize sa drzavu na drzavu je rezultat velikog smanjenja globalne likvidnosti,

smanjene dostupnosti medunarodnog kreditiranja te smanjene potraznje za

izvozom. S obzirom na veliku mogucnost sirenja kriza, nuzno je da sve zemlje

razviju otpornost bankarskog sektora na unutarnje i vanjske sokove.29

Basel III je nastao kao odgovor na financijsku krizu. Cilj Basel III okvira je

ojacati pravila vezana uz kapital i likvidnost kojih se banke moraju drzati

kako bi se bolje nosile sa sokovima proizaslih iz financijskih i ekonomskih

pritisaka. Njegova zelja je smanjiti prelijevanje problema sa financijskog na

realni sektor, poboljsati menadzment rizika i povecati transparentnost pos-

lovanja banaka. Odbor takoder uvodi mnoge makreokonomske elemente u



Basel III okvir kako bi se smanjio rizik koji proizlazi iz prociklicnosti i pove-

zanosti financijskih institucija.30

Od mnogih ciljeva Basela III, za ovaj rad je najvazniji taj da se ojaca

medunarodni okvir o adekvatnosti kapitala temeljen na Baselu II. Navedene

reforme povecavaju i kvalitetu i kvantitetu jamstvenog kapitala i povecavaju

pokrivenost rizika. Kao dopuna odredivanja visine kapitalnih zahtjeva na

temelju rizika uveden je minimalni koeficijent financijske poluge kako bi se

stvorio dodatni sloj zastite od gresaka proizaslih iz odredivanja kapitalnih

zahtjeva na temelju rizika. Banke bi trebale odrzavati koeficijent financijske

poluge iznad 0.03. Racunanje koeficijenta financijske poluge nije tema ovog

rada. Tranzicijsko razdoblje na kraju kojeg bi se banke u potpunosti trebale

prilagoditi Basel III standardu je od 2013. do 2018. godine. Minimalni uvjeti

koje su bunke morale ispuniti kada je u pitanju koeficijent financijske poluge

uvodenjem Basel III standarda na pocetku 2013. godine bili su

DK

PA≥ 0.035,

OK

PA≥ 0.045,

UK

PA≥ 0.08,

gdje DKPA

predstavlja omjer dionickog kapitala (Common Equity Tier 1 ) i

ponderirane aktive, OKPA

omjer osnovnog kapitala (Tier 1 capital) i ponderi-

rane aktive, a UKPA

omjer ukupnog kapitala i ponderirane aktive.31 Na kraju

prijelaznog razdoblja (pocetak 2018), DKPA

se mora popeti na 0.045, a OKPA

na

0.06.32

Mozemo zakljuciti da su sa Baselom III povecani neki vec postojeci standardi

te se uvode neki novi vezani za likvidnost i zastitu od prociklicnosti. Nasla-

nja se na Basel II pa je i dalje je moguce koristiti IRB pristup kod procjene

visine kapitalnih zahtjeva banaka, stoga su modeli kreditnog rizika te izracun

PD-a i dalje veoma vazni.

30Preuzeto iz [2]31Za vise o kriterijima po kojima se razvrstava kapital banke vidi [2]32Preuzeto iz [2]

3 KALIBRACIJA SKORING MODELA 14

3 Kalibracija skoring modela

Da bi banka mogla koristiti IRB pristup kod odredivanja visine kapitalnog

zahtjeva, njen sustav za procjenu kreditne sposobnosti mora zadovoljavati

sljedece temeljne uvjete:33

1. Ciljna vrijednost je PD - rejting vrijednosti moraju se moci prikazati

kao PD

2. Potpunost - Rejting rezultati moraju uzeti u obzir sve dostupne infor-

macije vazne za kreditnu sposobnost

3. Objektivnost - Uz pomoc tog rejting sistema, sa istim informacijama,

razliciti analiticari bi trebali doci do slicnih zakljucaka

4. Prihvacenost - Korisnici moraju imati misljenje da bi rejting model

trebao tocno procijeniti kreditnu sposobnost klijenta

5. Konzistentnost - Rejting ne smije biti kontradiktoran sa prihvacenim

teorijama i metodama.

Kalibracija je opcenito odredivanje odnosa izmedu vrijednosti predstavljene

mjerom ili pokazane mjerilom i pripadne poznate vrijednosti mjerene fizi-

kalne velicine.34 Konkretno, kod kalibracije skoring modela, vrijednosti pri-

kazane mjerom su razliciti tipovi skor vrijednosti, a PD je fizikalna velicina.

Kalibracija je koncept koji potjece iz meteorologije u kojoj su se koristili vje-

rojatnosni modeli za prognoziranje vremena.35

Dakle, cilj kalibracije skoring modela je pridruziti PD svakoj mogucoj skor

vrijednosti, sto znaci da ce se ovaj rad iskljucivo baviti prvim od gore nave-

denih temeljnih uvijeta.

Racunanje PD-a kao ciljne vrijednosti takoder je vazno da bi model imao

primjenu u poslovanju. PD izrazen u obliku rejtinga je naime osnova raz-

nih poslova menadzmenta rizika kreditne institucije kao sto je na primjer

33Preuzeto iz [9]34Preuzeto iz [5]35Preuzeto iz [7]


odredivanje cijene kredita na temelju rizika.36

Najvise radi olaksavanja izvjestavanja, sami PD-i se mogu klasificirati u cak

20-tak klasa. Da bi se ispunili minimalni uvjeti Basela II, rejting skala mora

sadrzavati najmanje 7 razreda za zajmoprimce za koje ce se pretpostaviti da

kod njih nece nastupiti stanje neizvrsenja obveza i 1 razred za one zajmo-

primce za koje ce se pretpostaviti da hoce. Iznimka tome je kod maloprodaj-

nog segmenta.37

Metode kalibracije se razlikuju kod razlicitih tipova modela. Potrebno je

razlikovati kalibraciju logisticke regresije te drugih statistickih i heuristickih

modela. Logisticka regresija vec daje rezultate u obliku PD-ova ovisnih o

uzorku koje je mozda potrebno kalibrirati tako da odgovaraju pravim PD-

ovima. Kod svih drugih statistickih i heuristickih modela, nuzno je pridruziti

PD-ove procesom kalibracije.38.

3.1 Kalibracija modela logisticke regresije

Regresijske metode su postale sastavni dio bilo koje analize koja se bavi opi-

sivanjem veze izmedu zavisne varijable te jedne ili vise nezavisnih varijabli.39

Kod logisticke regresije zavisna varijabla je binarna. To logisticku regresiju

cini prikladnom za procjenu kreditne sposobnosti posto postoje samo dva

moguca ishoda zavisne slucajne varijable:

Nastupilo je stanje neizvrsenja obveza 1Uredno se ispunjavaju sve obveze 0

Oznacimo skup p nezavisnih slucajnih varijabli vektorom X = (X1, X2, ..., Xp),

a s Y zavisnu slucajnu varijablu.

Nadalje, oznacimo uvjetnu vjerojatnost da je nastupio dogadaj (stanje ne-

izvrsenja obveza) s

P (Y = 1|X) = π(X).



Definirajmo funkciju

g(X) = β0 + β1X1 + β2X2, . . . ,+βpXp.

Zbog mnogo se razloga funkcija

eg(X)

1 + eg(X)(1)

pokazuje kao veoma prikladna za opisivanje π(X) i ona predstavlja model

logisticke regresije. U tom slucaju funkciju g(X) zovemo logitom logisticke

regresije.40

Pretpostavimo da imamo n nezevisnih promatranja

(xi, yi) = (x1i, x2i, . . . , xpi, yi), i ∈ {1, . . . , n}.

Kako bi odredili model, potrebno je procijeniti vektor parametra

β = (β0, β1, . . . , βp).

Njega procjenjujemo metodom maksimalne vjerodostojnosti.

Ako kodiramo Y kao 0 ili 1, tada izraz π(X) za proizvoljan β predstavlja

uvjetnu vjerojatnost da je Y jednak 1 uz uvjet X sto oznacavamo P (Y = 1|X).

Iz toga slijedi da 1 − π(X) predstavlja uvjetnu vjerojatnost da je Y jednak

0 uz uvjet X tj. P (Y = 0|X). Zbog toga je za one parove (xi, yi) za koje je

yi jednak 1 doprinos funkciji vjerodostojnosti π(xi), a za one za koje je yi

jednak 0 doprinos je jednak 1−π(xi). Doprinos svakog promatranja funkciji

vjerodostojnosti mozemo opisati izrazom

π(xi)yi(1− π(xi))

1−yi .

Buduci da su promatranja nezavisna, funkcija vjerodostojnosti dana je izra-

zom

l(β) =n∏i=1

π(xi)yi(1− π(xi))

1−yi . (2)

40Preuzeto iz [4]


Da bi procijenili β metodom maksimalne vjerodostojnosti, treba maksimizi-

rati izraz (2) po β. Umjesto maksimizacije jednadzbe (2), moguce je dobiti

isti rezultat maksimizacijom prirodnog logaritma te iste funkcije vjerodos-

tojnosti

L(β) = ln(l(β)) =n∑i=1

ln yi ln[π(xi)] + (1− yi) ln[1− π(xi)].

Da bi odredili β koji maksimizira L(β), potrebno je parcijalno derivirati

L(β) po β0, β1, ..., βp i dobivene jednadzbe izjednaciti s nulom. Na taj nacin

dobijemo takozvane jednadzbe vjerodostojnosti

n∑i=1

[yi − π(xi)] = 0, (3)

n∑i=1

xji[yi − π(xi)] = 0 j ∈ {1, . . . , p}.

Imamo dakle sustav od p + 1 jednadzbi sa p + 1 nepoznanicom. Izrazi u

danim jednadzbama su nelinearni u parametrima i stoga zahtjevaju specijalne

metode za njihovo rjesavanje. Te metode su iterativne prirode i ugradene su u

mnoge, ako ne i sve dostupne statisticke programske pakete.41 Same metode

nisu tema ovog rada.

Oznacimo s β rijesenje tog sustava. β je procjena parametra β metodom

maksimalne vjerodostojnosti. Ako uvrstimo β u jednadzbu (1) za neki xi

dobivamo π(xi) sto je procjena π(xi) metodom maksimalne vjerodostojnosti.

Ona predstavlja procjenu uvjetne vjerojatnosti da je Y jednak 1 uz uvijet da

je X jednak xi tj. P (Y = 1|X = xi).

Zanimljiva posljedica jednadzbe (3) je da vrijedi

n∑i=1

yi =n∑i=1

π(xi), (4)

sto znaci da je suma promatranih vrijednosti od Y jednaka sumi procjenjenih

(ocekivanih) vrijednosti od Y .

41Preuzeto iz [4]


U slucajevima kada su u pitanju klijenti kod kojih nas zanima je li kod

njih nastupilo stanje neizvrsenja obveza, podaci su veoma neuravnotezeni u

smislu da u portfelju ima veoma malo klijenata kod kojih je navedeno stanje

nastupilo, primjerice 2%.42 Radi toga sto je udio losih kredita u portfelju

puno manji od udjela dobrih kredita i buduci da je potrebno u modeliranje

ukljuciti dovoljno velik broj losih kredita, banka cesto odlucuje da nece pro-

vesti analizu svih podataka. Na taj nacin stedi svoje resurse.

Za razvoj skor kartice potrebno je imati pouzdane i ciste podatke s minimal-

nim prihvatljivim brojem dobrih i losih prihvacenih klijenata. Tocan broj

nije kljucan, medutim uzima se da bi taj broj trebao biti otprilike 2000 losih

i 2000 dobrih racuna nasumicno izabranih iz grupe odobrenih racuna otvo-

renih unutar nekog definiranog vremenskog perioda. Obicno je puno teze

pronaci dovoljan broj losih racuna nego onih dobrih. Uz to je potrebno jos

dodatnih 2000 odbijenih aplikacija. Na njima se se provodi zakljucivanje o

odbijenima.43 Zakljucak o odbijenima nije tema ovog rada.

Vidimo da gore navedeni hipotetski uzorak nije reprezentativan za portfelj.

Naime, broj losih i dobrih je jednak sto u praksi nikada nije slucaj. I kad

bi sve odbijene stavili u kategoriju dobrih, stopa losih u uzorku bi opet bila

veca nego u nekom prosjecnom portfelju. U tom slucaju iz jednadzbe (4)

mozemo zakljuciti da bi dobiveni model precjenjivao PD. Zbog toga je po-

trebno izvrsiti kalibraciju modela.

Opcenito, svaki put kad se stopa losih (DR44) u uzorku razlikuje od DR-a

u portfelju, potrebno je provesti kalibraciju skoring modela.45 Kalibriranje

je postala uobicajena praksa kod modeliranja raznih prediktivnih modela,

pogotovo u slucaju kada se modeliraju rijetki dogadaji.46

Kako bi se provela kalibracija, potrebno je poznavati DR u promatranom

segmentu. DR moze biti procjenjen koristenjem informacija kreditnih biroa.

Ako se za takvu procjenu koriste vanjski izvori, potrebno je osigurati da su isti

42Podatak preuzet iz [7]43Preuzeto iz [8]44default rate45Preuzeto iz [9]46Preuzeto iz [8]


izvori u poziciji da opisu svaki segment sa dovoljnom preciznoscu i u skladu

sa bancinim unutarnjim definicijama. Takoder je vazno obratiti pozornost

na kriterij stanja neizvrsenja obveza koju koristi vanjski izvor. Ako se taj

kriterij ne podudara sa onim koristenim u procesu izgradnje modela, nuzno

je prilagoditi procjene DR-a promatranog segmenta.47 Kalibraciju mozemo

provesti na nekoliko nacina.

3.1.1”Offset” metoda

Pretpostavimo da smo metodom maksimalne vjerodostojnosti dobili procjenu

za logit logisticke regresije

g(X) = β0 + β1X1 + β2X2, . . . ,+βpXp.

Ako se stopa klijenata koji se nalaze u uzorku razlikuje od stope u portfelju,

tada se dobivena procjena logita logisticke regresije pomjera za konstantu:48

l = − lnρ1γ0ρ0γ1

,

gdje su ρ1 i ρ0 redom stopa losih i stopa dobrih u uzorku, te γ1 i γ0 redom

stopa losih i stopa dobrih u portfelju. Nova procjena logit funkcije postaje

g∗(X) = l + β0 + β1X1 + β2X2, . . . ,+βpXp.

Iz toga slijedi da je nova procjena vjerojatnosti da ce nastupiti stanje ne-

izvrsenja obveza za neki xi

π∗(xi) =eg

∗(xi)

1 + eg∗(xi).

Na taj smo nacin odredili skalirane procjene za vjerojatnosti odlaska kli-

jenta u stanje neizvrsenja obveza bez da smo racunali nekalibrirane procjene.



Takoder mozemo kalibrirati model koristeci nekalibrirane procjene vjerojat-

nosti pomocu formule49

π∗(xi) =π(xi)ρoγ1

[(1− π(xi))ρ1γ0 + π(xi)ρoγ1].

3.2 Odredivanje granicne vrijednosti PD-a

Pod pojmom kalibracija se ponekad misli na odredivanje optimalne granicne

vrijednosti PD-a (cut-off ). Granicna vrijednost PD-a je vrijednost PD-a koja

dijeli klijente na one koje ce banka prihvatiti i one koje ce odbiti. Odredivanje

optimalne granicne vrijednosti PD-a ovisi o preferencijama banke.50

Nakon sto se odredi konacan kredit skoring model, potrebno je testirati

njegovu tocnost predikcije. To je najbolje uciniti na podacima koji nisu

koristeni za izgradnju modela (out-of-sample), buduci da model pretjerano

tocno predvida na podacima koji su koristeni za izgradnju modela (in-sample).

Drugim rijecima, razlicite uzorke treba koristiti za izgradnju modela i nje-

govu kalibraciju. Prema tome, odreduje se PD svakog zajma u uzorku za

kalibraciju. Taj se PD usporeduje s granicnom vrijednosti PD-a da bi se

predvidjelo hoce li podnositelj zahtjeva za zajmom biti dobar ili los klijent.51

Neka Gg predstavlja broj dobro klasificiranih dobrih zajmova, a Gb broj do-

brih zahtjeva koji su netocno okarakterizirani kao losi. Slicno tome neka

Bb predstavlja dobro klasificirane lose zahtjeve, a Bg lose zahtjeve koji su

netocno okarakterizirani kao dobri. Kao ukupna mjera, postotak tocno kla-

sificiranih ukupnih zajmova je

PCCtotal =Gg +Bb

Gg +Gb +Bb +Bg

.

Nadalje, postotak tocno klasificiranih losih zajmova

PCCbad =Bb

Bb +Bg

49preuzeto iz [8]50Preuzeto iz [17]51Preuzeto iz [17]


je definiran kao omjer tocno klasificiranih losih zajmova i ukupno ostvarenih

losih zajmova.

Konacno, postotak tocno klasificiranih dobrih zajmova

PCCgood =Gg

Gg +Gb

definira se kao omjer tocno klasificiranih dobrih zajmova i ukupnog broja

ostvarenih dobrih zajmova.

Premda jednostavna za koristenje, PCC mjera nije uvijek prikladna mjera

tocnosti. Ona presutno pretpostavlja da je trosak netocne klasifikacije dobrih

i losih zajmova jednak. Za banke je medutim jedna greska znatno skuplja od

druge. Sljedeca, cesto prekrsena pretpostavka PCC-a je da je distribucija

klasa konstantna tijekom vremena i razmjerno uravnotezena. Zbog navedenih

razloga, dvije dodatne mjere se koriste kako bi se opisalo tocnost modela:

SENS (sensitifity) i SPEC (specificity):52

SPEC =Bb

Bb +Gb

SENS =Gg

Gg +Bg

SPEC je definiran kao omjer tocno klasificiranih losih zajmova i ukupnog

broja predvideno losih zajmova, a SENS je definiran kao omjer broja dobro

klasificiranih dobrih zajmova i ukupnog broja predvideno dobrih zajmova.

Ocito je da banke zele minimizirati i Bg i Gb u isto vrijeme. Medutim sma-

njivanje jednog je uvijek placeno povecanjem drugog. Stoga banke trebaju

uzeti u obzir razliku u trosku koji proizlazi iz svakog loseg, odnosno dobrog

lose klasificiranog zajma. Za vecinu banaka, trosak Bg ce biti veci od troska

Gb.53



Tablica 3: Utjecaj granicnog PD-a na DR za Model 1

Granicna vrijednost PD-a SENS DR0.040311198 0.7961165 0.20388350.060088686 0.8333333 0.16666670.081257807 0.8265683 0.17343170.100612199 0.8441558 0.15584420.125008930 0.8397790 0.16022100.150852626 0.8437500 0.15625000.200082212 0.8544699 0.1455301

3.2.1 Odredivanje granicne vrijednosti na temelju zeljenog udjelalosih u ukupno odobrenim zajmovima

Odredivanje optimalne granicne vrijednosti ovisi o preferencijama banke.

Njezin cilj moze biti odredivanje postotaka zajmova koji ce zavrsiti u stanju

neizvrsenja obveza medu odobrenim zajmovima. U tom slucaju, granicna se

vrijednost odreduje pomocu SENS-a, buduci da vrijedi

SENS +Bg

Gg +Bg

=Gg

Gg +Bg

+Bg

Gg +Bg

= 1,

odnosno

1− SENS =Bg

Gg +Bg

.

Nakon sto su rezultati Modela 1 i Modela 2 pridruzeni podacima za valida-

ciju, odreden je SENS i DR pridruzen svakom rezultatu u slucaju da se taj

rezultat postavi kao granicnu vrijednost PD-a. Neki od rezultata su prikazani

u tablici 3 i 4. Vec na prvi pogled se moze zakljuciti da Model 1 nema dobru

kalibraciju jer se, kako povecavamo granicnu vrijednost PD-a, DR smanjuje,

sto se ne bi trebalo dogadati. Cini se da je Model 2 u tom pogledu puno

bolji.

Banke medutim mogu slijediti i druge strategije kod odredivanja optimalne

granicne vrijednosti od kojih je najcesca maksimizacija profitabilnosti.54

54Preuzeto iz [17]


Tablica 4: Utjecaj granicnog PD-a na DR za Model 2

Granicna vrijednost PD-a SENS DR0.040066374 0.9387755 0.061224490.060185214 0.9344262 0.065573770.080033540 0.9285714 0.071428570.101365495 0.9203540 0.079646020.125098387 0.9020979 0.097902100.150013389 0.8983516 0.101648350.200658778 0.8976035 0.10239651

3.2.2 Odredivanje optimalne granicne vrijednosti iz pozicije mak-simizacije dobiti

Neka je αL = P , gdje P predstavlja dobit koji kreditna institucija ostvari na

dobrom zajmu, a L gubitak koji ostvari na losem zajmu. Ako je α primjerice

0.1, to znaci da je za pokrice gubitka nastalog na jednom losem zajmu po-

trebno plasirati 10 dobrih kredita. Za razlicite vrijednosti α imamo razlicite

granicne vrijednosti koje maksimiziraju dobit.

Optimalne granicne vrijednosti s ciljem maksimizacije profita su takoder

odredene na uzorku za kalibraciju. Za svaku granicnu vrijednost PD-a moze

se izracunati ukupna dobit Pr (profit):

Pr = GgP −BgL = GgαL−BgL

Optimalne rezultate za neke α za Model 1 i Model 2 mozemo vidjeti u tablici

5.

4 BACK-TEST KALIBRACIJA 24

Tablica 5: Optimalne granicne vrijednosti s obzirom na maksimizaciju dobiti

α 0.05 0.1 0.2 0.5 1Model 1 0.00735 0.00735 0.46655 0.61632 0.61632Model 2 0.05177 0.05177 0.21614 0.50627 0.50627

4 Back-test kalibracija

4.1 Validacija po Baselu II

Basel II okvir ima za cilj unaprijediti poslove menadzmenta rizika u ban-

karskoj industriji. Zajmodavci stoga trebaju imati validacijsku metodologiju

kako bi uvjerili svoje supervizore da je izvedba njihovih kredit skoring mo-

dela dobra.55 Validacija je niz procesa i aktivnosi na temelju kojih se moze

procijeniti mogu li rejtinzi adekvatno diferencirati rizik te odrazavaju li pro-

cjene rizicnih parametara adekvatno rizik.56 Proces validacije bitan je i radi

upravljanja bankom, jer bi pogorsanje izvedbe skoring modela lose utjecalo

na alokaciju njenog kapitala te se ne bi mogli ostvariti predvideni prihodi i

rashodi, a samim time i dobit vezana uz implementaciju tog skoring modela.

U ovom radu cemo se baviti iskljucivo validacijom kalibracije skoring modela

tzv. back-test kalibracijom.

Medu pravilima za validaciju u okviru Basela II, dva su posebno vazna za

statisticki baziranu kvantitativnu validaciju. To su:57

• Banka mora imati robustan sustav za validaciju tocnosti i konzistent-

nosti rejting sustava, procesa i procjene svih bitnih rizicnih komponenti

• Banka mora demonstirirati svojim supervizorima da njen unutarnji pro-

ces validacije omogucuje procjenu izvedbe internih rejting i rizicnih

sustava konzistentno i smisleno

55Preuzeto iz [7]56Odluka o adekvatnosti jamstvenog kapitala kreditnih institucija, Zagreb, lipanj 2013,

dostupno na www.hnb.hr57Preuzeto iz [16]


Dakle, sporazum Basel II zahtjeva od banaka da imaju robustan sustav za

validaciju tocnosti i konzistentnosti rejting sustava i procesa, ali ne namece

nikakve standarde za taj sustav. Takoder moraju biti sposobne procijeniti

rizicne komponente, redom, PD, LGD te EAD.58

Baselski odbor za superviziju banaka je osnovao AIG (Accord Implementa-

tion Group) kao tijelo u kojem supervizori razmjenjuju misljenja o pitanjima

implementacije i provode opca nacela implementacije u okvirima Basela II.

AIG takoder predlaze opca nacela validacije. Naglasak se stavlja i na kvanti-

tativnu i kvalitativnu validaciju. Validacijom se mora procijeniti prediktivna

sposobnost modela. Iako nije potpuno jasno sta znaci prediktivna sposob-

nost, u financijskoj industriji postoji konsenzus da bi se ona trebala shvatiti

u smislu snage da diskriminira izmedu dobrih od losih klijenata i tocnosti

kalibracije rejting sistema.59 Procjena diskriminacijske snage nije tema ovog

rada. Pod tocnom kalibracijom smatramo da je imamo tocne PD-ove za rej-

ting razrede.

Nakon sto smo pomocu Modela 1 i Modela 2 procijenili PD-ove pojedinih kli-

jenata u uzorku za validaciju i back-test kalibraciju, podjelili smo navedeni

uzorak na 7 rejting kategorija, pri cemu kategorija 1 predstavlja najbolju rej-

ting kategriju, dok kategorija 7 predstavlja najgoru. U svakoj kategoriji ima

priblizno jednako podataka. Tocnije, kod Modela 1 u kategorijama 2,3,4, i 7

ima po 90 podataka, a u kategorijama 1,5 i 6 po 91 podatak. Kod Modela

2 u kategorijama 3,5,6 i 7 ima po 90, a u kategorijama 1,2 i 4 po 91 poda-

tak. Pri kategoriziranju se vodilo racuna da isti procjenjeni PD-ovi upadnu

u isti rejting razred. Za ocekivani DR je uzeta aritmeticka sredina rezultata

modela za tu kategoriju. Tablice 6 i 7 prikazuju rejting kategorije na temelju

Modela 1 i Modela 2, te njihove ocekivane i ostvarene DR-ove.

Nakon sto se pogledaju tablice 6 i 7, moze se zakljuciti da je Model 1 dobro

predvidio ukupan DR, sto je posljedica kalibracije skoring modela, ali kada je

rijec o pojedinim kategorijama, moze se odmah zakljuciti da lose procjenjuje

DR svake pojedinie kategorija. Za razliku od njega, Model 2 losije predvida



Tablica 6: Rejting kategorije za Model 1

kategorija br. dobrih br. losih procijenjen DR ostvaren DR1 74 17 0.02664782 0.186813192 75 15 0.04688536 0.166666673 75 15 0.06922349 0.166666674 79 11 0.10318692 0.122222225 84 7 0.14629751 0.076923086 78 13 0.21927613 0.142857147 84 6 0.36082637 0.06666667Ukupno 549 84 0.1388675 0.13270142

ukupni DR, ali bolje procjenjuje DR pojedinih kategorija. Na prvi se pogled

moze zakljuciti da je Model 2 unatoc losijem ukupno procjenjenom DR-u

bolji, jer ako model ne procjenjuje dobro rizicne kategorije, tada on gubi svoj

smisao. Drugim rijecima, Model 2 ima tocniju kalibraciju.

S obzirom na kvantitativnu validaciju, Baselski odbor zahtjeva od banaka

Tablica 7: Rejting kategorije za model 2

kategorija br. dobrih br. losih procjenjen DR ostvaren DR1 87 4 0.03633427 0.043956042 82 9 0.06781520 0.098901103 78 12 0.10256222 0.133333334 79 12 0.13340510 0.131868135 81 9 0.17358322 0.100000006 77 13 0.23478828 0.144444447 65 25 0.38650355 0.27777778Ukupno 549 84 0.1617485 0.13270142

da redovno usporeduju ostvarene sa procjenjenim DR-ovima za svaki rej-

ting razred i moraju biti sposobne demonstrirati da se ostvareni DR-ovi na-

laze unutar ocekivanog raspona za taj isti razred. Tu proceduru zovemo


back-testing. Takoder zahtjeva od banaka da imaju dobro utvrdene interne

standarde postupanja u situacijama kada devijacija u ostvarenim PD-ovima,

LGD-ovima i EAD-ovima od ocekivanih bude dovoljno znacajna da bi se va-

ljanost njihove procjene mogla dovesti u pitanje. Ti standardi moraju uzeti

u obzir makroekonomske cikluse i slicne sistematicne varijabilnosti. Takoder

odbor ocekuje da metode validacije uzmu u obzir sistematicnu ovisnost u

uzorcima podataka koristenim za procjenjivanje rizicnih parametara.60

Danas banke puno paznje posvecuju procesu validacije, ali jos uvijek opcenito

prihvacena metoda validacije ne postoji. Razlog tome su mnogi problemi ve-

zani uz izgradnju i primjenu skoring modela. Jedan od problema su, na pri-

mjer, utjecaji promjenjivih makroekonomskih uvijeta. Ti utjecaji se cesto ne

uzimaju u obzir pri razvoju modela. Osim toga, razvoj modela je u mnogim

slucajevima otezan nedostatkom zapazanja i time sto banke nisu opsezno do-

kumentirale sve bitne indikatore kreditne sposobnosti. Zbog takvih i slicnih

prakticnih problema, postavlja se pitanje kako bi se trebalo provesti valida-

ciju.61

Validacija nije temeljena iskljucivo na statistickim metodama. Prosudbe me-

nadzmenta i kvalitativna analiza modela su takoder veoma vazne. Medutim

polazna validacija ipak je statisticka jer nam je takva potrebna radi dobivanja

znanstvene rigoroznosti i uobicajenih mjerila validacije.62

4.2 Back-test kalibracija

Pod kalibracijom se podrazumjeva pridruzivanje PD-ova izlaznim rezultatima

rejting modela. Kvaliteta kalibracije ovisi o tome koliko se dobro predvideni

PD-ovi podudaraju sa realiziranim DR-om.63

Back-test kalibracija se bavi pitanjem procjene koliko su procjene uvjetnih

PD-ova uz dani skor zapravo tocne. Supervizori posebno zahtijevaju da pro-

cjene nisu preniske kada se koriste kod odredivanja visine kapitalnih zah-



tjeva.64

Razmotrit cemo neke testove za kalibraciju koji ovise o stanju u ekonomiji.

To su binomni test, Hosmer-Lemeshow test i Spiegelhalter test. Kao primjer

testa koji ne ovisi o stanju u ekonomiji opisat cemo test koji koristi vremenski

niz (godisnjih )DR-ova.

Procjene PD-a mogu biti bazirane ne trenutnom stanju ekonomije na nacin

da se, na primjer, u model ubace makroekonomske nezavisne varijable. To

su na primjer rast BDP-a, stopa nezaposlenosti i slicni makroekonomski po-

kazatelji. Takve procjene PD-ova zovemo PIT (Point-In-Time). Uz takvu

procjenu mozemo pretpostaviti nezavisnost dogadaja jer bi vecina njihovih

zavisnosti mogla biti zahvacena makroekonomsim varijablama ukljucenim u

model.65

Nasuprot tome, bezuvjetne PD procjene nisu bazirane na trenutnom stanju

ekonomije. Bezuvjetni PD-ovi koji su procjenjeni na temelju podataka iz ci-

jelog ekonomskog ciklusa zovemo TTC (Through-The-Cycle). Ako koristimo

bezuvjetne procjene ne mozemo pretpostaviti nezavisnost jer se varijacija os-

tvarenih DR-ova ne moze vise objasniti varijacijom uvjetnih procjena PD-a

koji je sada sam po sebi slucajna varijabla.66

Osnovni podaci koji se koriste za back-testing su: predvideni PD-ovi za rej-

ting klasu za odredeni vremenski period (obicno 12 mjeseci), broj slucajeva

modelom pridruzenih toj rejting klasi i status (nastupilo je ili nije stanje ne-

izvrsenja obveza) tih slucajeva nakon sto prode vremenski period za koji se

predvidanje odnosi racunato od trenutka kada je slucaju dodjeljen rejting.

Kalibracija podrazumjeva pridruzivanje procjene PD-ova pojedinim rejting

klasama. U tom procesu takoder je moguce koristiti duzi vremenski period

za predvidanje od navedenih 12 mjeseci sto je konkretno zahtjev za koristenje

IRB pristupa. Ti vremenski periodi takoder moraju proci back-testing.67

Rezultati razlicitih rejting procedura specificnih za pojedine segmente se

cesto prikazuju na istoj glavnoj (master) skali PD-ova.



4.3 Klasifikacijska tablica

Tradicionalno, tocnost modela logisticke regresije se cesto analizira klasifika-

cijskom tablicom. To je tablica koja se sastoji od dva retka i dva stupca, gdje

stupci predstavljaju broj prihvacenih odnosno odbijenih klijenata, a reci broj

ostvareno dobrih odnosno osvareno losih klijenata. Prihvacanje klijenata se

provodi koristenjem granicne vrijednosti PD-a. Klijent je prihvacen ako je

procjena PD-a veca ili jednaka granicnoj vrijednosti, a odbijen ako je manja

od granicne vrijednosti. Model je savrsen ako su sve vrijednosti na glavnoj

dijagonali klasifikacijske tablice. Klasifikacijska tablica daje postotak tocnih

predvidanja.68 Tablice 8 i 9 nam prikazuje klasifikacijske tablice redom za

Model 1 i Model 2. Prihvaceni odnosno odbijeni klijenti su odredeni na te-

melju rizicnih kategorija prikazanim u tablicama 6 i 7.

Iz klasifikacijskih tablica mozemo zakljuciti da Model 2 ima bolju kalibra-

ciju jer koju god da klasifikacijsku tablicu uzmemo, Model 2 ce imati vise

elemenata na glavnoj dijagonali od Modela 1.

68Preuzeto iz [7]


Tablica 8: Klasifikacijske tablice za Model 1

prihvaceni odbijeni rejting kategorije prihvacanjadobri 74 475

1losi 17 67dobri 149 400

1,2losi 32 52dobri 224 325

1,2,3losi 47 37dobri 303 246

1,2,3,4losi 58 26dobri 387 162

1,2,3,4,5losi 65 19dobri 464 84

1,2,3,4,5,6losi 78 6

Tablica 9: Klasifikacijske tablice za Model 2

prihvaceni odbijeni rejting kategorije prihvacanjadobri 87 462

1losi 4 80dobri 169 380

1,2losi 13 71dobri 247 302

1,2,3losi 25 59dobri 326 223

1,2,3,4losi 37 47dobri 407 142

1,2,3,4,5losi 46 38dobri 484 65

1,2,3,4,5,6losi 59 25


4.4 Brier Skor

Prosjecno kvadratno odstupanje procjene PD-a za svaki slucaj u promatra-

nom uzorku od dogadaja koji se dogodio u tom slucaju zovemo Brier Skor:

BS =1

n

n∑i=1

(pi − yi)2.

Sto je nizi Brier Skor, bolja je kalibracija rejting modela. Kada imamo po-

djelu skora na C rejting klasa, Brier Skor se takoder moze prikazati kao

suma:69

BS =1

n

C∑c=1

nc[qc(1− pc)2 + (1− qc)p2c ].

U gornjoj jednadzbi, nc oznacava broj slucajeva u rejting klasi c, dok su qc

i pc realizirani i predvideni DR-ovi u klasi c. Ova Brier skor jednadzba se

69Preuzeto iz [9]


moze zapisati i na sljedeci nacin:

BS =1

n

C∑c=1

nc[qc(1− 2pc + p2c) + p2c − p2cqc]

=1

n

C∑c=1

nc[qc − 2pcqc + p2cqc + p2c − p2cqc]

=1

n

C∑c=1

nc[qc − 2pcqc + p2c + q2c − q2c ]

=1

n

C∑c=1

nc[qc(1− qc) + (pc − qc)2]

=1

n

C∑c=1

nc(pc − qc)2 +1

n

C∑c=1

ncqc −1

n

C∑c=1

ncq2c +

1

n

C∑c=1

ncq2

− 1

n

C∑c=1

ncq2 +

2

n

C∑c=1

ncqqc −2

n

C∑c=1

ncqqc

=1

n

C∑c=1

nc(pc − qc)2 −1

n

C∑c=1

nc(q − qc)2 + q + q2 − 2q2

=1

n

C∑c=1

nc(pc − qc)2 −1

n

C∑c=1

nc(q − qc)2 + q(1− q)

Na taj smo nacin Brier Skor podijelili na 3 komponente:70

BS = q(1− q)︸︷︷︸varijacija

+1

n

C∑c=1

nc(pc − qc)2︸︷︷︸kalibracija

− 1

n

C∑c=1

nc(q − qc)2︸︷︷︸rezolucija

.

Prvi clan opisuje varijancu realiziranog DR-a unutar cijelog uzorka. Ova

vrijednost je nezavisna o kalibraciji rejting procedure i ovisi samo o samom

promatranom uzorku.

Drugi clan predstavlja prosjecno kvadratno odstupanje predvidenih i reali-

ziranih DR-ova u C rejting razreda. Dobro kalibriran model ce imati nizu

70Preuzeto iz [9]


vrijednost tog izraza od slabo kalibriranog rejting modela. Tu vrijednost

stoga zovemo kalibracija.

Treci clan opisuje srednje kvadratno odstupanje realiziranih DR-ova u pojedi-

nim rejting klasama od realiziranod DR-a u ukupnom uzorku. Ova vrijednost

je poznata pod imenom rezolucija. Opcenito, rezolucija rejting modela raste

kako dodajemo rejting klase sa jasno razlikovanim ostvarenim DR-ovima.

Rezolucija je stoga usko vezana uz diskriminacijsku moc modela.

U praksi se umjesto Brier Skora cesto koristi standardizirana mjera Brier

Skill Skor (BSS):71

BSS = 1− BS

q(1− q).

Usporedbu BS-a i njegovih te BSS-a Modela 1 i Modela 2 mozemo vidjeti

u tablici 10. Vidimo da Model 2 ima sve komponente BS-a (osim varijacije

koja ovisi samo o uzorku) bolje. U skladu s tim su i BS i BSS bolji kod

Modela 2.

Tablica 10: Usporedba BS-a i BSS-a Modela 1 i Modela 2

varijacija rezolucija kalibracija BS BSSModel 1 0.11509 0.0018467 0.0209636 0.134209 -0.16610Model 2 0.11509 0.0044608 0.0038933 0.114524 0.004930

4.5 Graficki opis kalibracije

Dodatna informacija o kvaliteti kalibracije rejting modela moze se izvuci

iz dijagrama pouzdanosti u kojem se ostvareni DR-ovi stavljaju nasuprot

predvidenih za svaku rejting klasu. Krivulju koju dobijemo spajanjem tih

tocaka zovemo kalibracijskom krivuljom.72

Tocke dobro kalibriranog sustava ce se nalaziti blizu dijagonale dijagrama

pouzdanosti. U idealnom sustavu, sve tocke leze bas na toj dijgonali. Clan



kalibracija Brier Skora predstavlja prosjecno (otezano s brojem slucajeva

unutar svake rejting klase) kvadratno odstupanje tocaka na kalibracijskoj

krivulji od dijagonale. Ta vrijednost bi trebala biti sto manja.Rezolucija rej-

ting modela predstavlja prosjecno (otezano s brojem slucajeva unutar svake

rejting klase) kvadratno odstupanje tocaka na dijagramu pouzdanostu od

linije koja predstavlja realiziran DR u ukupnom uzorku. Ta vrijednost bi

trebala biti sto je vise moguca, sto znaci da kalibracijska krivulja treba biti

sto strmija. Medutim, strmost kalibracijske krivulje je prvenstveno odredena

s diskriminatornom moci rejting modela i nezavisna je o tocnosti procijena

DR-a.73 Slike 1 i 2 pokazuju kalibracijske krivulje Modela 1 i Modela 2 te

njihovu usporedbu sa idealnim modelom. Moze se vidjeti da je Model 1 puno

losiji od Modela 2.

Idealni trivijalan rejting sustav sa samo jednom rejting klasom bi bio repre-

zentiran na dijagramu pouzdanosti kao izolirana tocka smjestena na presjeku

dijagonale i PD-u uzorka.74

Kao i mjere diskriminacijske moci, jednodimenzionalni indikatori kalibracija

i rezolucija se takoder mogu definirati kao standardizirane mjere prostora

izmedu kalibracijske krivulje i dijagonale ili DR-a uzorka.75

4.6 Binomni test

Cesto je prvi korak u kalibraciji skoring modela izvodenje binomnog testa.

Binomni test sluzi za testiranje svakog razreda samog za sebe.76

Pretpostavimo unaprijed odredene rejting razrede odredene rasponom skora

S. Tada je razumno pretpostaviti da je prosjecni PD koji cemo oznaciti sa

pc prognoza za promatrani rejting razred c.77 Oznacimo sa nc broj klijenata

kojima je pridruzen promatrani razred, sa pc pravi PD za promatrani razred,

te sa N1c slucajnu varijablu koja modelira broj klijenata kod kojih je nastu-

pilo stanje neizvrsenja obveza u tom razredu.

73Preuzeto iz [9]74Preuzeto iz [9]75Preuzeto iz [9]76preuzeto iz [7]77Preuzeto iz [16]


Slika 1: Kalibracijska krivulja Modela 1


Slika 2: Kalibracijska krivulja Modela 2


Ako skor varijabla moze u nekoj mjeri odraziti trenutno stanje u ekonomiji,

dogadaje nastupanja stanja neizvrsenja obveza izmedu razlicitih klijenata

mozemo smatrati nezavisnima. Pod pretpostavkom nezavisnosti, broj klije-

nata iz rejting razreda c kod kojih je nastupilo stanje neizvrsavanja obveza

ima binomnu distribuciju sa parametrima nc i pc.78

Zbog toga pod pretpostavkom nezavisnost te ako je pc = pc, broj klijenata

kod kojih je nastupilo stanje neizvrsenja obveza u rejting razredu c ima bi-

nomnu distribuciju s parametrima nc i pc. Tada vrijedi

P (N1c = n1

c) =

(ncn1c

)pn

1cc (1− pc)nc−n1

c .

Za menadzment banke bitno je i da se PD ni ne precjeni ni ne podcjeni.

Stoga u tom slucaju mozemo primijeniti binomni test za testiranje hipoteza:

H0 : pc = pc

H1 : pc 6= pc

(5)

Hipoteza H0 ce biti odbacena na razini znacajnosti α ako slucajna varijabla

N1c padne izvan intervala (B(α/2), B(1−α/2)), gdje funkcija B(·) predstavlja

kvantil binomne distribucije slucajne varijable N1c sa parametrima nc i pc.

79

Iz perspektive supervizije, vazno je da PD nije podcjenjen80 pa u tom slucaju

mozemo primijeniti jednostrani binomni test za testiranje hipoteza:

H0 : pc = pc

H1 : pc > pc

(6)


N1c padne izvan intervala (0, B(1− α)).

Moguce je takoder kreirati test koji ce dati odgovor na pitanje da li je PD pre-

cijenjen sto bi moglo dovesti do veceg odbijanja aplikacija nego sto bi trebalo.



Tada mozemo primijeniti jednostrani binomni test za testiranje hipoteza:

H0 : pc = pc

H1 : pc < pc

(7)


N1c padne izvan intervala (B(α),∞).

Tablica 11 prikazuje rezultate dvostranog binomnog testa za Model 1 i Model

2. Iz nje mozemo iscitati da na razini znacajnosti 0.05 mozemo odbaciti

hipotezu H0 u korist H1 testa (6) kada je rijec o kategorijama 1,2,3 i 7

Modela 1 te kategorijama 6 i 7 Modela 2. Moze se zakljuciti da i rezultati

binomnog testa favoriziraju Model 2.

Tablica 11: Rezultati dvostranog binomnog testa

kat. p Model 1 p Model 21 3.019952e-10 0.575010522 1.877332e-05 0.212950463 1.278105e-03 0.300137654 4.908176e-01 1.000000005 7.319463e-02 0.069958846 9.826998e-02 0.046047227 1.388929e-10 0.03920340

4.7 Kalibracijski test uz pomoc normalne distribucije

Teorem 1 (Integralni Moivre-Laplaceov teorem) Neka je 0 < p < 1 i

neka je Xn ∼ B(n, p). Tada za proizvoljne a, b ∈ R, a < b vrijedi 81

limn→∞

P (a ≤ Xn − npnp(1− p)

≤ b) =1

2π

∫ b

a

e−x2

2 dx (8)

Desna strana jednadzbe (9) je zapravo F (b) − F (a), gdje je F (·) funkcija

distribucije standardne normalne slucajne varijable.82



Posljedica Teorema 1 je da za dovoljno velik nc, slucajnu varijablu

Y =N1c − ncpc

ncpc(1− pc),

gdje jeN1c ∼ B(nc, pc) mozemo aproksimirati standardnom normalnom slucajnom

varijablom.

Ako je pc = pc, test statistika

T =N1c − ncpc√

ncpc(1− pc)

ima standardnu normalnu distribuciju.

U slucaju dvostranog testa (6) potrebno je odrediti Z−1(α/2) i Z−1(1−α/2)

gdje funkcija Z−1(·) predstavlja kvantil standardne normalne distribucije

N(0, 1). Ukoliko test statistika T padne izvan intervala (Z−1(α/2), Z−1(1− α/2)),

tada odbacujemo H0 na razini znacajnosti α.

Kod jednostranog testa (7) potrebno je odrediti Z−1(1 − α). Ukoliko test

statistika T padne izvan intervala (∞, Z−1(1− α)), tada odbacujemo H0 na

razini znacajnosti α.

Kod jednostranog testa (8) potrebno je odrediti Z−1(α). Ukoliko test sta-

tistika T padne izvan intervala (Z−1(α),∞), tada odbacujemo H0 na razini

znacajnosti α. U tablici 12 mogu se iscitati vrijednosti T statistike i p-

vrijednosti za oba modela.

Kada je u pitanju dvostrani test na razini znacajnosti α = 0.05, mozemo

zakljuciti da mozemo odbaciti sve kategorije osim cetvrte za Model 1, dok za

Model 2 odbacujemo kategorije 5,6 i 7. Zakljucujemo da i ovaj test favorizira

Model 2.

Radi interpretacije razina znacajnosti, u Njemackoj je predlozena praksa

“pristup semafora”. Kod tog pristupa odstupanja predvidenih i ostvare-

nih stopa defaulta iznad razine znacajnosti 0.05 se nebi trebala smatrati

znacajnima. To je takozvana “zelena zona”. Odstupanja na razini pouz-

danosti od najvise 0.001 se smatraju znacajnima i trebala bi se obavezno

korigirati. U tom slucaju nalazimo se u “crvenoj zoni”. Odstupanja koja

su znacajna uz stupanj pouzdanosti izmedu 0.001 i 0.05 mozda zahtjevaju


Tablica 12: Vrijednosti T statistika i p-vrijednosti za dvostrani test (6)

kat. T Model 1 p Model 1 T Model 2 p Model 21 9.6158677 6.852908e-22 0.39581474 0.6922417062 5.5061313 3.668050e-08 1.22157085 0.2218699573 3.7748573 1.600993e-04 1.01570216 0.3097712414 0.6268544 5.307547e-01 -0.04632168 0.9630538565 -2.0267264 4.269040e-02 -2.02743544 0.0426179006 -1.9940168 4.615022e-02 -2.31153221 0.0208034767 -7.2683604 3.638769e-13 -2.70436282 0.006843552

korekciju, a u tom slucaju se nalazimo u “zutoj zoni”.83

Potrebno je imati na umu da za niske PD-ove i mali broj slucajeva u po-

jedinim rejting klasama, preduvjeti za koristenje normalne distribucije nisu

uvijek ispunjeni. Tablica 13 nam pokazuje minimalan broj slucajeva potre-

ban za pojedinu rejting klasu za kvalitetnu aproksimaciju test vrijednosti kod

testiranja PD-ova uz pomoc standardne normalne distribucije.84

Ukoliko je broj slucajeve manji od minimalno potrebnih, provodi se binomni

test. Iz tablice 7 mozemo iscitati da su kategorije 5, 6 i 7 Modela 2 pogodne

za provedbu testa uz pomoc normalne distribucije.

Opcenito, test uz pomoc normalne distribucije je brzi i lakse izvodljiv te

daje korisne rezultate cak i za male uzorke i niske DR-ove. Taj je test stoga

bolji od binomnog unatoc cinjenici da matematicki preduvjeti za njegovu

primjenu nisu uvijek ispunjeni. Medutim, treba uvijek imati na umu da bi-

nomni testi i njegova generalizacija koristenjem normalne distribucije pociva

na pretpostavci nekoreliranih dogadaja odlaska u stanje neizvrsenja obveza

kod razlicitih klijenata.85

83Preuzeto iz [15]84Tablica preuzeta iz [9]85Preuzeto iz [9]


Tablica 13: Minimalan br. slucajeva za test pomocu normalne distribucije

pc nc0.10% 90100.25% 36100,50% 1810

1% 9102% 4603% 3105% 19010% 10120% 5750% 37

4.8 Hosmer-Lemeshow test

Binomni test moze biti prikladan za procjenu PD-a jednog razreda. Medutim,

ako testiramo, na primjer, dvadesetak rejting razreda zasebno, jako je vjero-

jatno da ce barem jedno predvidanje biti pogresno odbaceno. Kako bi imali

kontrolu nad takvim pogresnim odbacivanjima, potrebno je provesti testove

koji istovremeno obuhvacaju vise razreda.86

Prije nego raspravimo o Hosmer-Lemeshowom testu, idemo opisati sto znaci

pojam razlicitih kombinacija nezavisnih varijabli (covariate pattern).87 Taj

pojam koristimo kako bi opisali skup vrijednosti nezavisnih varijabli u modelu

i za njega cemo koristiti skracenicu CP. Na primjer, u podacima u kojima je

barem jedna nezavisna varijabla neprekidna, razlicitie kombinacije nezavisnih

varijabli mogu rezultirati istim brojem CP-a koliko ima i subjekata. S druge

strane, ako imamo samo kategorijalne varijable kao u modelima koristenim u

ovom radu, tada imamo ogranicen broj broj mogucih CP-a. U tim modelima

imamo kategorijalne varijable (u zagradi pise broj mogucih vrijednosti koje

varijabla moze poprimiti) bracno(4), stan(6), nacin(2), dob(5), staz(6) i



cijena gotovina(5). Zbog toga postoje samo 4 ·6 ·2 ·5 ·6 ·5 = 7200 mogucih

CP-a.

Pretpostavimo da model sadrzi p nezavisnih varijabli X = (X1, X2, ..., Xp)

te neka J oznacava broj razlicitih uocenih vrijednosti X. Ako neki podaci

imaju istu vrijednost X, tada je J < n. Oznacimo broj podataka za koje

vrijedi X = Xj sa mj, j ∈ {1, ..., J}. Slijedi da je∑J

j=1mj = n. Neka

yj oznacava broj slucajeva kod kojih je nastupilo stanje neizvrsenja obveza

medu podacima za koje vrijedi X = Xj. Slijedi da je∑J

j=1 yj = n1 ukupan

broj slucajeva kod kojih je nastupilo stanje neizvrsenja obveza. Tablice 14

i 15 pokazuju broj CP-a po kategorijama u uzorku za kalibraciju za Model

1 i Model 2. Razlicit ukupni broj CP-a Modela 1 i Modela 2 proizlazi iz

razlicitog grupiranja podataka. Iako su varijable Modela 1 i Modela 2 grupi-

rane pomocu k-means algoritma, grupe se razlikuju jer je navedeni algoritam

proveden na svakom uzorku za razvoj modela i nakon toga je uzorak za back-

test kalibraciju grupiran posebno za potrebe Modela 1 i Modela 2 u skladu

sa klasterima koji su dobiveni algoritmom na uzorcima za razvoj Modela 1 i

Modela 2.

Tablica 14: Broj CP-a za Model 1

kategorija 1 2 3 4 5 6 7 ukupnobr. subjekata 91 90 90 90 91 91 90 633br. c. patterna 53 54 50 72 67 64 70 430

Tablica 15: Broj CP-a za Model 2

kategorija 1 2 3 4 5 6 7 ukupnobr. subjekata 91 91 90 91 90 90 90 633br. c. patterna 63 72 67 58 54 66 49 429

Hosmer and Lemeshow (1980) i Lemeshow and Hosmer (1982) su predlozili


Tablica 16: L statistika

Model 1 Model 2L 172.8904 14.44222p 0 0.01303146

grupiranje na osnovu vrijednosti procjenjenih vjerojatnosti. Predlozene su

dvije strategije grupiranja:88

1. Podjela na osnovi percentila procjenjenih vjerojatnosti

2. Podjela na osnovi fiksnih vrijednosti procjenjenih vjerojatnosti

Kod prve metode, mozemo koristiti G = C grupa, gdje prva grupa sadrzi

n1 = n/C clanova koji imaju najmanje procjenjene vjerojatnosti, a zadnja

grupa sadrzi n2 = n/C clanova koji imaju najvece procjenjene vjerojat-

nosti. Kod druge metode, koristenje C grupa rezultira granicnim tockama

k/C, k ∈ {1, 2, ..., C − 1} i grupe sadrze sve clanove sa procjenjenim vjero-

jatnostima izmedu susjednih granicnih tocaka. Na primjer, prva grupa sadrzi

sve clanove cija je procijenjena vjerojatnost manja ili jednaka 1/C, dok de-

seta grupa sadrzi one clanove cije su procjenjene vjerojatnosti vece od 1/C.

Za bilo koju strategiju grupiranja, Hosmer-Lemeshowa test statistika se racuna

na slijedeci nacin89

L =C∑c=1

(n1c − ncpc)2

ncpc(1− pc)

gdje nc predstavlja ukupan broj subjekata u grupi c, n1c broj losih klijenata u

grupi c i pc procjenjeni DR u grupi c. Tablica 16 pokazuje vrijednost Hosmer-

Lemeshowe statistike i pripadne p-vrijednosti za Model 1 i Model 2.

Koristenjem opsirnog skupa simulacija, Hosmer i Lemeshow (1980) su poka-

zali, da kada vrijedi J = n i ako je dobiveni model logisticke regresije tocan

model, tada je statistika L dobro aproksimirana χ2 distribucijom s C − 2



stupnja slobode, χ2(C − 2). Iako nije posebno istrazeno, vjerojatno je da

χ2(C − 2) distribucija takoder aproksimira distribuciju statistike L kada je

J ≈ n.90 Iz tablica 14 i 15 moze se iscitati da to ne vrijedi za modele koristene

u ovom radu. To bi se moglo postici povecanjem broja kategorijalnih varija-

bli ili ubacivanjem neke neprekidne varijable u modele.

Dodatno istrazivanje Hosmer, Lemeshow i Klar (1988) je pokazalo da je me-

toda grupiranja bazirana na percentilima procjenjenih vjerojatnosti bolja od

one bazirane osnovi fiksiranih granicnih tocaka u smislu boljeg pridrzavanja

χ2(C − 2) distribucije, posebno kada mnogo procjenjenih vjerojatnosti ima

nisku vrijednost (npr. manju od 0.2).91

Kada se grupira na taj nacin, odatni problemi mogu nastati radi toga sto

moze postojati puno CP-a Xj za koje vrijedi da je mj > 1 i moze se dogoditi

da neki Xj upadnu u jednu, a neki u drugu grupu. To se moze rijesiti tako

da grupe imaju sto je blize 1/C podataka, a da se to ne dogodi. Tako je to

rijeseno u ovom radu. Razliciti statisticki paketi na razlicite nacine rijesavaju

taj problem. Ukoliko broj CP-a nije premali pa to dovodi do velike razlike

u velicini grupa i ako je broj grupa nije znacajno manji od 10, statistika L

se nece znacajno razlikovati kod razlicitih statistickih paketa. U suprotnom

slucaju bi se mogla znatno razlikovati.92 Koristenjem hoslem.test-a iz pa-

keta ResourceSelection dobivena je vrijednost Hosmer-Lemeshowe statistike

172.7323 za Model 1 i 14.5288 za Model 2, sto su priblizno slicne vrijednost

kao kad su izracunate na osnovu grupa iz tablica 6 i 7.

4.9 Spiegelhalterov test

Ako se PD-ovi klijenata procjenjuju individualno tada i binomni test i Hosmer-

Lemeshow test zahtjevaju izracunavanje prosjecne vrijednosti PD-a klijenata

kojima je dodjeljen isti rejting razred. Ta procedura zahtjeva nesto pris-

tranosti u izracunu teorijske varijance broja klijenata kod kojih je nastupilo

stanje neizvrsenja obveza. Sa Spiegelhalterovim testom taj se problem za-



obilazi. U tom testu se takoder pretpostavlja nezavisnost izmedu dogadaja

stupanja u stanje neizvrsavanja obveza kod razlicitih klijenata.93

Pretpostavimo da su svakom klijentu pridruzene 2 slucajne varijable S i Y .

Varijabla Y moze poprimiti samo vrijednosti 1 i 0, sto znaci da je redom

nastupilo ili nije nastupilo stanje neizvrsenja obveza. Varijabla S predstavlja

skor koji je kreditna institucija pridruzila klijentu te odrazava njegovu kre-

ditnu sposobnost.

Za svaku vrijednost slucajne varijable S definirajmo uvjetnu vjerojatnost

P [Y = 1|S = s]

Pretpostavimo da je svakom klijentu dodjeljen skor si i procjena vjerojatnosti

odlaska u stanje neizvrsenja obveza pi. Klijentov pi je odreden njegovom skor

vrijednoscu si.

Nulta hipoteza za test glasi “Svi predvideni PD-ovi odgovaraju uvjetnim

vjerojatnostima uz dane skor vrijednosti”:94

pi = P [Y = 1|Si = si] = pi

Test provodimo pomocu Brier skora koji se takoder zove srednja kvadratna

greska koju oznacavamo sa MSE (mean square error):

BS = MSE =1

n

n∑i=1

(pi − yi)2



Ako vrijedi nulta hipoteza imamo:

E[MSE] =1

nE[

n∑i=1

(pi − yi)2]

=1

nE[

n∑i=1

(pi2 − 2piyi + y2i )]

=1

n

n∑i=1

pi2 − 2

n

n∑i=1

piE[yi] +1

n

n∑i=1

E[y2i ]

=1

n

n∑i=1

pi2 − 2

n

n∑i=1

pipi +1

n

n∑i=1

pi

=1

n

n∑i=1

pi2 − 2

n

n∑i=1

pi2 +

1

n

n∑i=1

pi

=1

n

n∑i=1

pi −1

n

n∑i=1

pi2

=1

n

n∑i=1

pi(1− pi)


i

V ar[MSE] = E[(MSE − E[MSE])2]

= E[(1

n

n∑i=1

(pi − yi)2 −1

n

n∑i=1

pi(1− pi))2]

= E[(1

n

n∑i=1

(pi2 − 2piyi + y2i − pi + pi

2))2]

= E[(1

n

n∑i=1

(2pi2 − 2piyi + y2i − pi))2]

=1

n2E[

n∑i=1

(4pi4 + 4pi

2y2i + y4i + pi2 − 8pi

3yi

+ 4pi2y2i − 4pi

3 − 4piy3i + 4pi

2yi − 2piy2i )]

+1

n2E[

n−1∑i=1

n∑j=i+1

(8pi2pj

2 − 8pi2pjyj + 4pi

2y2j − 4pi2pj

− 8piyipj2 + 8piyipjyj − 4piyiy

2j + 4piyipj + 4y2i pj

2

− 4y2i pjyj + 2y2i y2j − 2y2i pj − 4pipj

2 + 4pipjyj − 2piy2j + 2pipj)]

=1

n2

n∑i=1

E[4pi4 + 4pi

2y2i + y4i + pi2 − 8pi

3yi

+ 4pi2y2i − 4pi

3 − 4piy3i + 4pi

2yi − 2piy2i ]

+1

n2

n−1∑i=1

n∑j=i+1

E[8pi2pj

2 − 8pi2pjyj + 4pi

2y2j − 4pi2pj

− 8piyipj2 + 8piyipjyj − 4piyiy

2j + 4piyipj + 4y2i pj

2

− 4y2i pjyj + 2y2i y2j − 2y2i pj − 4pipj

2 + 4pipjyj − 2piy2j + 2pipj]

=1

n2

n∑i=1

(4pi4 + 4pi

3 + pi + pi2 − 8pi

4

+ 4pi3 − 4pi

3 − 4pi2 + 4pi

3 − 2pi2)

+1

n2

n−1∑i=1

n∑j=i+1

(8pi2pj

2 − 8pi2pj

2 + 4pi2pj − 4pi

2pj

− 8pi2pj

2 + 8pi2pj

2 − 4pi2pj + 4pi

2pj + 4pipj2

− 4pipj2 + 2pipj − 2pipj − 4pipj

2 + 4pipj2 − 2pipj + 2pipj)

=1

n2

n∑i=1

(4pi4 + 4pi

3 + pi + pi2 − 8pi

4

+ 4pi3 − 4pi

3 − 4pi2 + 4pi

3 − 2pi2)


=1

n2

n∑i=1

(−4pi4 + 8pi

3 − 5pi2 + pi)

=1

n2

n∑i=1

pi(−4pi3 + 8pi

2 − 5pi + 1)

=1

n2

n∑i=1

pi(−4pi3 + 4pi

2 + 4pi2 − 4pi − pi + 1)

=1

n2

n∑i=1

pi(1− 4pi + 4pi2 − pi(1− 4pi + 4pi

2))

=1

n2

n∑i=1

pi(1− pi)(1− 2pi)2

Pod pretpostavkom nezavisnosti uz dane skor vrijednosti, prema centralnom

granicnom teoremu, distribucija standardizirane srednje kvadratne greske

Z =MSE − E[MSE]√

V ar(MSE)

je aproksimativno standardna normalna ako vrijedi nulta hipoteza.95 Tablica

17 nam prikazuje komponente standardizirane srednje kvadratne greske u

uvjetima nulte hipoteze i rezultate Z statistike te pripadnu p vrijednost za

Model 1 i Model 2.

Iz p-vrijednosti mozemo zakljuciti da na razini znacajnosti α = 0.05 za

Tablica 17: Standardizirana srednja kvadratna dreska Z

MSE E[MSE] V ar(MSE) Z pModel 1 0.1342087 0.1077573 6.782023e-05 3.21194 0.001318399Model2 0.1145243 0.1234822 7.257192e-05 -1.051525 0.2930175

Model 1 mozemo, a za Model 2 ne mozemo odbaciti nultu hipotezu. Spiegel-

halterovim testom smo takoder dosli do zakljucka da je Model 2 bolji.

95Preuzeto iz[16]


4.10 Testiranje bezuvjetnih PD-ova pomocu vremen-skog niza

U slucaju bezuvjetnih PD procjena (TTC tipa), pretpostavka nezavisnosti

kod back-testa moze rezultirati prekonzervativnim testovima. Medutim, ako

je dostupan vremenski niz stopa defaulta, pretpostavka nezavisnosti tijekom

vremena moze se smatrati opravdanom. Uzimajuci u obzir da su bezuvjetni

PD-ovi konstantni tijekom vremena, moze se konstruirati jednostavan test

koji ne ukljucuje bilo kakvu pretpostavku meduzavisnosti izmedu zajmopri-

maca unutar jedne godine.96

Razmotrimo fiksni rejting razred c sa ntc zajmoprimaca u godini t =

1, . . . , T . Analogno tome neka je dtc broj defaulta u godini t promatranog

razreda. Dodatno pretpostavimo da je procjena PD-a pc zajednicka zajmo-

primcima unutar razreda c PIT tipa i konstantna tokom vremena te da su

dogadaji nastupanja stanja neizvrsenja obveza u razlicitim godinama neza-

visni. Tada su godisnji DR-ovi ( dtc

ntc) realizacije nezavisnih slucajnih varijabli.

Standardna devijacija stopa defaulta se u tom slucaju moze procijeniti ne-

pristranim procjeniteljem:

σ2 =1

1− T

T∑t=1

(dtcntc− 1

T

T∑t=1

dtcntc

).

Ako pretpostavimo da je V ar( dtc

ntc) = σ2, tada vrijedi

V ar(1

T

T∑t=1

dtcntc

) =1

T 2

T∑t=1

V ar(dtcntc

) =σ2

T

Ako broj T nije premal, pod pretpostavkom da je pravi PD zajednicki zaj-

moprimcima unutar klase c jednak pc (H0), statistika

S =

1T

∑Tt=1(

dtcntc)− pc

σ√T

96Preuzeto iz [16]


ima aproksimativno standardnu normalnu distribuciju.

Sada mozemo takoder konstruirati tri vrste testa kao kod binomnog i radimo

sve na isti nacin kao kod testa uz koristenje standardne normalne distribucije.

Jedina je razlika sto kod ovog testa statistika S preuzima ulogu koju je u

onom slucaju imala statistika T .

Ovaj test je prikladan i za situacije kada imamo slabu zavisnost tijekom

vremena. Kriticna pretpostavka ja ona da je T dovoljno velik. U praksi,

nizovi duljine pet do deset godina nisu neuobicajeni.97

97preuzeto iz [16]

5 LITERATURA 51

5 Literatura

Literatura

[1] Basel Committee on Banking Supervision, A brief history of the

Basel Committee, Bank for International Settlements, 2013

[2] Basel Committee on Banking Supervision, Basel III: A global re-

gulatory framework for more resilient banks and banking systems, Bank

for International Settlements, December 2010 (rev June 2011)

[3] M. Bensic, N. Suvak, Uvod u vjerojatnost i statistiku, Sveuciliste J.J.

Strossmayera, Odjel za matematiku, 2013.

[4] D. W. Hosmer, S. Lemeshow, Applied Logistic Regression, second

edition, John Wiley & Sons, Inc. 2000.

[5] Hrvatski enciklopedijski rjecnik, Novi liber, Zagreb, 2002.

[6] G. Karakoulas, Empirical validation of retail credit-scoring models,

The RMA Journal, Sept 2004, 56-60

[7] L. Medema, R. H. Koning, R. Lensink, A Practical Approach to

Validating a PD Model, June 6, 2007.

[8] N. Siddiqi, Credit Risk Scorecards, Developing and Implementing Intel-

ligent Credit Scoring, John Wiley & Sons, Inc., Hoboken, New Jersey,

2006.

[9] Oesterreichische Nationalbank, Guidelines on credit risk mana-

gement: Rating models and validation, OeNB Printing Office, Vienna,

2004.

[10] N. Sarapa,Teorija vjerojatnosti, Skolska knjiga, Zagreb, 2002.

[11] N. Sarlija, Klasicna kreditna analiza, Predavanja za kolegij”Uprav-

ljanje kreditnim rizicima”, 2008.

LITERATURA 52

[12] N. Sarlija, Kratak prikaz Basela II, Predavanja za kolegij”Upravljanje

kreditnim rizicima”, 2008.

[13] N. Sarlija, Modeli bazirani na racunovodstvenim podacima i trzisnoj

vrijednosti, Predavanja za kolegij”Upravljanje kreditnim rizicima”, 2008.

[14] N. Sarlija, Upotreba i primjena kredit skoring modela, Predavanja za

kolegij”Upravljanje kreditnim rizicima”, 2008.

[15] D. Tasche, A trac lights approach to PD validation, Working paper,

2003.

http://arxiv.org/pdf/cond-mat/0305038.pdf

[16] D. Tasche, Validation of internal rating systems and PD estimates,

Working paper, 2006.

http://arxiv.org/abs/physics/0606071

[17] D. T. H. Thanh, S. Kleimeier, Credit Scoring for Vietnam’s Re-

tail Banking Market: Implementation and Implications for Transactional

versus Relationship Lending,

6 SAZETAK 53

6 Sazetak

U radu je opisana kalibracija i back-test kalibracija skoring modela. Ka-

libracija je pridruzivanje vjerojatnosti nastupanja stanja neizvrsenja obveza

svakoj mogucoj skor vrijednosti odnosno sposobnost modela da kao izlazni re-

zultat deje nepristrane procjene navedene vjerojtnosti. Back-test kalibracija

je provjera tocnosti kalibracije skoring modela. Opisan je postupak kalibra-

cije modela logisticke regresije. Tom su metodom razvijena dva modela od

kojih je jedan bilo potrebno kalibrirati jer stopa losih u uzorku nije odgovarala

stopi losih u portfelju. Opisane su metode koje se koriste prilikom back-test

kalibracije te su sve provedene na dva razvijena modela. Tim postupcima

su usporedena ta dva modela s obzirom na tocnost njihove kalibracije. Za-

kljuceno je da je model kojem je bila potrebna kalibracija u tom smislu losiji

od modela kojem nije bila potrebna. Moguci uzrok tome je da je puno ma-

nji uzorak koristen za razvoj kalibriranog modela od uzorka koristenog za

izgradnju nekalibriranog modela.

7 TITLE AND SUMMARY 54

7 Title and summary

Scoring Model Calibration

This paper describes calibration and back-test calibration of the scoring mo-

del. Calibration is joining the probability of default to each possible score

value, and the ability of the model, as an output, to make unbiased estimates

of probability of default. Back-test calibration means checking the accuracy

of the scoring model calibration. The calibration of logistic regression model

is described in this paper. Two models were developed by using this method,

one of which needed to be calibrated due to a mismatch between the default

rate of the development sample and default rate in the portfolio. Methods

used during back-test calibration are described and carried out on two deve-

loped models. By using these procedures, these two models were compared,

considering their calibration accuracy. It has been concluded that the model

which didn’t need the calibration is better than the model which needed it.

The possible reason for this could be the fact that a much smaller sample

was used in the development of the calibrated model than the one used in

the development of the non-calibrated model.

8 ZIVOTOPIS 55

8 Zivotopis

Roden sam 12. lipnja 1986. u Nasicama. Zavrsio sam osnovnu skolu August

Harambasic i osnovnu glazbenu skolu u Donjem Miholjcu. 2005. godine

zavrsavam Opcu gimnaziju u Donjem Miholjcu te se upisujem na preddi-

plomski studij matematike na odjelu za matematiku u Osijeku koji zavrsavam

2009. godine. U akademskoj 2009./2010. upisujem Sveucilisni diplomski stu-

dij matematike, smjer Financijska i poslovna matematika.

Documents

Filip Fey Kalibracija Skoring modela - mathos.unios.hrmdjumic/uploads/diplomski/FEY21.pdf · Kalibracija Skoring modela Diplomski rad Osijek, 2014. Sveu cili ste J.J.Strossmayera