0 410 420 430 440 450 460 470 25...kvadrata odstupanja pojedinačnih tačaka od regresionog modela, minimalna. Ovakav koncept naziva se metoda najmanjih kvadrata i prisutan je u nauci

1Др Милован Миливојевић дипл. инж. /// ВПТШ Ужице

Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]

ИМИРИнформатичка Методологија

Истраживачког Рада

Prosta Linearna Regresija

Regresioni model y = 0.1389x - 42.484

R2 = 0.6743

0

5

10

15

20

25

410 420 430 440 450 460 470

Temperatura žarenja [OC]

Zate

zn

a č

vrs

toća [

daN

/mm

2]

[oC]

sM [daN/mm2]

Linear (sM

[daN/mm2])

Preporučena literatura:

1. M.Žižić, M.Lovrić, D. Pavličić, Metodi statističke analize, Ekonomski fakultet Beograd, Beograd, 2006., [pp. 273-317]

2. P.S.Mann, Uvod u statistiku, John-Wiley&Sons Inc. – Ekonomski fakultet Beograd, Beograd, 2009., [pp. 611-662]

3. V. Simonović, Uvod u teoriju verovatnoće i matematičku statistiku, Tekon, Beograd, 1995., [pp. 93-97]

4. J.Stanić, Upravljanje kvalitetom proizvodnje, Građeviska knjiga, Beograd, 1985., [pp. 11-62]

5. Hastie, Trevor,, Robert Tibshirani, and J. H Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd ed. New York: Springer, 2009.


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]


Истраживачког РадаProsta Linearna

Regresija

Determinističke i stohastičke veze

P= 0.3*x2-1.23*x-5.6= f(X)

-10

-7.5

-5

-2.5

0

2.5

5

7.5

10

12.5

15

-5 -3.5 -2 -0.5 1 2.5 4 5.5 7 8.5 10

HB - tvrdoća u funkciji % Mg

37.0

39.0

41.0

43.0

45.0

47.0

49.0

51.0

0.35 0.37 0.39 0.41 0.43 0.45%Mg

Tvrd

oća [

HB

]

Slika R2. Stohastička vezaSlika R1.Primer funkcionale veze

Primer: Tvrdoća aluminijuma je stohastička (slučajna) veličina jer na nju pored kontrolisanih faktora (sastav legure, tehnološki parametri procesa žarenja, sile valjanja ... ) deluju i nekontrolisani faktori kao što su: % nećistoće, ljudski faktor...).

Kod stohastičkih veličina ishodi se ne mogu sa sigurnošću predvideti. Suština stohastičkih veza je da između pojedinih vrednosti nezavisne promeljive X i prosečnih vrednosti zavisne promenljive, postoji funkcionalna veza. Bitno je istaći da kod stohastičke veze, pojedine vrednosti Y, mogu odstupati od proseka manje ili više i da se pravilnost i zakon određuje na većem broju posmatranja (uzorak). Na primer tvrdoća Al2Mg3 trake zavisiće od % magnezijuma (Mg) u leguri ali i varirati u određenom stepenu u zavisnosti od % učešća drugih primesa u formi sumpora (S) ili olova (Pb).


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

Interpolacija

y = -5E-06x5 + 0.011x4 - 9.6925x3 + 4266x2 - 938595x + 8E+07

0

5

10

15

20

25

410 420 430 440 450 460 470


Zate

zn

a č

vrs

toća [

daN

/mm

2]

[oC]

sM [daN/mm2]

Poly. (sM

[daN/mm2])

Regresioni model y = 0.1389x - 42.484

R2 = 0.6743

0

5

10

15

20

25

410 420 430 440 450 460 470


Zate

zn

a č

vrs

toća [

daN

/mm

2]

[oC]

sM [daN/mm2]

Linear (sM

[daN/mm2])

Regresioni modeliZa razliku od interpolacionih modela, regresioni model pokušava da na „najprirodniji način” opiše odgovarajući proces ili sistem.Ovakav pristup je u praksi daleko češće prisutan jer daje „bolje” rezultate i u međuprostoru zadatih tačaka. Takođe, dobijaju se prirodnije predikcije odnosno praćenja trendova posmatranih pojava.Kod regresionog modela, grafik ne prolazi „nužno” kroz zadate tačke ali je, najčešće, suma kvadrata odstupanja pojedinačnih tačaka od regresionog modela, minimalna. Ovakav koncept naziva se metoda najmanjih kvadrata i prisutan je u nauci skoro 200 godina.

Kao što se na slici vidi regresioni model na „prirodniji” način opisuje datu kvantitativnu vezu. Posebno je od značaja „adekvatnije” ponašanje modela kako u međuprostoru datih tačaka (merenja) tako i u oblastima predviđanja trenda [„tačke tvrdoće” za vrednosti žarenja preko temperature 460 OC].

Slika R4.

Regresioni

model

Slika R3.

Interolacija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

U zavisnosti od broja posmatranih promenljivih može se napraviti klasifikacija regresionih i korelacionih modela: linearna

A) DVE PROMENLJIVE PROSTA REGRESIJA krivolinijska

linearna PROSTA KORELACIJA krivolinijska višestruka regresiona analiza

B) VIŠE PROMENLJIVIH višestruka korelaciona analiza

Regresiona analiza je jedan od najznačajnijih metoda statističke analize sa primenom u praksi. Ona omogućuje predviđanje i ocenjivanje jedne pojave na osnovu vrednosti neke druge pojave. Pojam regresija uveo je engleski naučnik Francis Galton 1885. (Slika 3.5.) prilikom istraživanja naslednih osobina dece u odnosu na roditelje.

Regresiona analiza se realizuje u nekoliko etapa:• Identifikacija promenljivih• Izvlačenje slučajnog uzorka (merenje, utvrđivanje vrednosti ispitivanog obeležja odnosno

karakteristike kvaliteta)• Crtanje dijagrama rasipanja (raspršenosti) • Izbor odgovarajućeg regresionog modela (tipa zavisnosti) na bazi dijagrama rasturanja• Ocenjivanje parametara modela metodom najmanjih kvadrata.• Određivanje mera REPREZENTATIVNOSTI linearne regresije• Testiranje ZNAČAJNOSTI (Signifikantnosti) regresione veze• Korišćenje regresionog modela u proceni prosečne vrednosti zavisne promenljive i

predikcija pojava.

Portret Galton-aby Octavius Oakley, 1840.

Slika R5.


Регресија

23.01.191

Slajdovi su generalno bazirani na referenci [1,2,5]



Regresija

o IDENTIFIKACIJA PROMENLJIVIH – prvi korak

U okviru ovog koraka, nakon preliminarne analize i upoznavanja sa objektom (procesom ili sistemom) koji je predmet istraživanja, određuje se šta je nezavisna a šta zavisna promenljiva veličina (odnosno šta su nezavisne a šta zavisne promenljive).

o IZVLAČENJE REPREZENTATIVNOG UZORKA - drugi korak

Kako se istraživanje i akvizicija podataka najčešče ne sprovode na čitavom Osnovnom Skupu zbog određenih razloga (cena, obim, vreme, dostupnost podataka...), to je uobičajeno da se podaci prikupljaju za reprezentativni Uzorak (obima n) i odgovarajući skup parova posmatranih obeležja {(x1 , y1), (x2 , y2), . . . . , (xn , yn)}.

o GRAFIČKI PRIKAZ - dijagram raspršenosti – treći korak

Grafički prikaz (dijagrama raspršenosti (Scatter Chart)) predstavlja osnovu za predviđanje zavisne slučajne promenljive (Y) na osnovu vrednosti nezavisne promeljive (X). Dijagram se generiše na bazi „prikupljenih” (izmerenih) rezulatata za Uzorak, odnosno za odgovarajući skup parova posmatranih obeležja {(x1 , y1), (x2 , y2), . . . . , (xn , yn)}. Dijagram raspršenosti (dijagram rasturanja) može imati različite forme.

y

0

1

2

3

4

5

6

0 0.5 1 1.5 2

Slika: Funkcionalna linearna zavisnost

-2

0

2

4

6

8

10

-1 0 1 2 3

y

Linear (y)

Slika: Inverzna linearna stohastička veza

-1.5

-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

0 0.5 1 1.5 2 2.5

y

Poly. (y)

Slika: Direktna krivolinijska stohastička veza

Slika

R6.

Slika

R7.

Slika

R8.


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

U pojedinim slučajevima među pojavama ne postoji kvantitativno slaganje (Slika R.9).Za analizu regresionih modela posebno je značajan linearni dijagram rasturanja prikazan na slici 3.10, koji ukazuje kako na varijaciju zavisne promenljive (Y) u funkciji promene nezavisne promenljive (X), tako i na stohastiku i variranje Y za konstantnu vrednost promenljive X.

Slika R9. Odsustvo kvantitativnog slaganja

y

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

0 1 2 3 4

y

HB - tvrdoća u funkciji % Mg

37.0

39.0

41.0

43.0

45.0

47.0

49.0

51.0

0.35 0.37 0.39 0.41 0.43 0.45%Mg

Tvrd

oća [

HB

]

Slika R10. Direktna linearna stohastička veza

U konkretnom primeru nezavisna promeljiva X predstavlja % magnezijuma (Mg) u leguri, a zavisna promenljiva Y -tvrdoću merenu u HB.

Dakle, dijagram rasturanja ukazuje na postojanje/nepostojanje kvantitativnog slaganja, pomaže da se odredi oblik (linearni ili krivolinijski) tog slaganja i omogućuje da se odredi smer veze (direktni ili inverzni).

Ukoliko oblik dijagrama rasturanja ukazuje na linearnu zavisnost onda je reč o linearnog regresionom modelu (slika 3.10). Linerani regresioni model predstavljen je pravom linijom. Postavlja se pitanje kako „provući” pravu kroz definisane (merene, utvrđene) tačke a da ona na najboji mogući način prezentuje dati skup podataka. Problem je, naravno, što se tačke zavisne promeljive (Y) stohastički rasipaju za iste vrednosti nezavisne promenljive (X).

Dakle, koja PRAVA najbolje reprezentuje podatke?


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

Slika R11. Linearna zavisnost

Y=1.2+0.7*Y


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]


Истраживачког Рада

Carl Friedrich Gauß (1777–1855)

Prosta Linearna Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]

ИМИР Информатичка Методологија


Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

Iz proizvodne baze podataka za posmatrani period izdvojeni su podaci za konstantan režim žarenja (T=250 0C, t=4h). Prikazane su numeričke vrednosti procenata pojedinih hemijskih elementa u šarži i odgovarajućih mehaničkih karakteristika. Kao primer, razmatran je uticaj %Fe na zateznu čvrstoću lima Rm.

Date podatke iz zone B38:E66, prekopirati u zonu B2:E36. Izvršiti osrednjavanje podataka o zateznoj čvrstoći Rm [sm] koristeći funkcije baza podataka u Excel-u. / Data → Sort ; Data → Subtotals → Average ... /. Podatke o srednjoj vrednosti zatezne čvrstoće „prepisati” u područje G51:H56.Potrebno je izvršiti regresionu analizu baziranu na linearnom regresionom modelu:1. Kreirati dijagram raspršenosti kao na slici.2. Postaviti liniju trenda kao na slici / DTM na tačke dijagrma + Add TrendLine.3. Podesiti ispis jednačine Linije Regresije i Koeficijenta Determinacije.4. Na bazi prikazinih jednačina odrediti „manuelno” koeficijente linearnog modela (b0 i b1), standardu grešku regresije (s) kao i koeficijent determinacije (R

2). Pomoć: Odrediti medjurezultate - xi yi; xi

2; yi2; Sxi; Syi; Sxi

2; Syi2; Average(xi); Average(yi); Kvadrat proseka od xi, Kvadrat proseka od yi. Imenovati ćelije

odgovarajućim nazivima: SumaX; SumaY; SumaXY; SumaX2; SumaY2; ProsekX; ProsekY; Odrediti koeficijente regresije: b1 / G62=(ProsekY*SumaX-SumaXy)/(ProsekX*SumaX-SumaX2) / . Imenovati ćeliju sa KOEFb1

b0 / G63=ProsekY-G62*ProsekX / . Imenovati ćeliju sa KOEFb0Odrediti Standardnu Grešku Regresije: s / G65=SQRT((SumaY2-G63*SumaY-G62*SumaXy)/(5-2)) / . Imenovati ćeliju sa GreskaRegresijeOdrediti Koeficijenat determinacije: R2 / G66=G62^2*(SumaX2-5*G60)/(SumaY2-5*H60) / . Imenovati ćeliju sa Determinacija5. Komentaristi dobijene rezultate!Pomoć:Koeficijenti regresionog modela dobijeni pomoću Linije TRENDA i „manuelno” se podudaraju. Koeficijent nagiba b1 ima sledeće značenje: Kada se % Fe u leguri poveća za 0.01% onda se zatezna čvrstoća SMANJI za PROSEČNO 2.96MPa =0.296 daN/mm2. Vrednost Koeficijenta Determinacije ukazuje da je 90.68% ukupnog varijabiliteta zatezne čvrstoće Rm, determinisano procentualnim učešćem Fe u leguri. Ostatak od 9.32% je pod uticajem neidentifikovanih faktora. Takođe, veličina R2 je bliska jedinici, što znači da linija regresije dobro reprezentuje merene rezultate. 6. Oceniti Grešku nagiba odnosno testirati signifikatnost koeficijenta b1.Pomoć:Odrediti grešku nagiba odnosno ocenu sb1: / G68=G65/(SQRT(SumaX2-5*G60)) / . Imenovati ćeliju sa GreskaNagiba.Odrediti računsku vrednost t statistike: / G69=ABS(G62/G68) / . Imenovati ćeliju sa tRac.

Odrediti kritičnu teorijsku vrednost t statistike tkr: / Za izabrani nivo značajnosti a=0.05 (pouzdanost 95%), odnosno 0.025 jer je u pitanju dvosmerni test

Student-ove t raspodele, iz tablica za broj stepeni slobode n=n-2=5-2=3, dobija se tkr=tn ,a /2=t3,0.025=3.183.Kako je računska vrednost t statistike, trč=5.40, veća od kritične, tkr=3.183, može se zaključiti sa rizikom a=0.05%=5% da se β1 razlikuje od 0, ili drugim rečima da se linearna regresija može koristiti za predviđanje, odnosno da je koeficijent b1, signifikantan.7. Kreirati inteval pouzdanosti za β1. Pomoć: I62=KOEFb1-tKr*GreskaNagiba; K62=KOEFb1+tKr*GreskaNagibaKomentar: Sa pouzdanošću 95%, zaključujemo da se sa porastom % Fe od 0,01% zatezna čvrstoća SMANJUJE u proseku između 4.7MPa i 1.21MPa.8. Kreirati interval poverenja za PROSEČNU vrednost zatezne čvrstoće i „docrtati” granice intervala pouzdanosti na dijagram.Pomoć:U području M49:O56 realizovati proračun predviđanja (predikcije) PROSEČNIH vrednosti.M52=GreskaRegresije*SQRT((1/5)+(G52-ProsekX)^2/(SumaX2-5*G$60))N52=KOEFb0+KOEFb1*G52-tKr*M52 O52=KOEFb0+KOEFb1*G52+tKr*M52U postojeći dijagrma „dodati” linije granica pouzdanosti: ...DTM na dijagram → Source Data → Add...9. Kreirati interval poverenja za PREDIKCIJU POJEDINAČNIH vrednost zatezne čvrstoće i „docrtati” granice intervala pouzdanosti na dijagram.Pomoć:U području P49:R56 realizovati proračun ocene prosečne vrednosti.P52=GreskaRegresije*SQRT(1+(1/5)+(G52-ProsekX)^2/(SumaX2-5*G$60))Q52=KOEFb0+KOEFb1*G52-tKr*P52 R52==KOEFb0+KOEFb1*G52+tKr*P52U postojeći dijagrma „dodati” linije granica pouzdanosti: ...DTM na dijagram → Source Data → Add...Komentar: Iz dobijenog dijagrama se vidi da je interval poverenja za ocenu prosečne vrednosti zatezne čvrstoće Rm, uži od intervala pou zdanosti za predikciju pojedinačnih vrednosti, odnosno da je predvićanje proseka pouzdanije od predviđanja pojedinačnih vrednsosti što je i logićno.Takođe, može se uočiti da se intervali pverenja „šire” na „granicama” regresionog modela, odnosno da je predviđanje najpouzda nije u blizini „sredine” posmatranog intervala. Ovim se objašnjava i preporučeni oprezpri donošenju zaključaka u primeni ekstrapolacije.

PRIMER: ZADATAK


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

U software-ima koji se bave statistikom ugrađeni su algoritmi i programi koji u potpunosti definišu, kako prosti linearni regresioni model, tako i višestruke regresione linearne modele.

Primer Excel obracun linearne regresije (Excel ToolPack)

Za osrednjene podatke o zateznoj čvrstoći lima, za konstantan režim žarenja (T=250 0C, t=4h) regresionom analizom, baziranom na Excel-ovom software-skom modulu ToolPack, analizirati uticaj %Fe na zateznu čvrstoću lima Rm. Potrebno je:1. Aktivirati Excel modul ToolPack / Tools-DataAnalysis...→ Regression....2. Odabrati područja podataka za analizu željene izlaze: Summary Output, ..., Residual Outpu..., Line fit Plot... Residula Plot....3. Analizirati dobijene rezultate, komentarisati ih i porediti sa prethodo dobijenim vrednsotima.

xi Yi

Fe Rm

0.295 191.74

0.324 179.47

0.336 173.68

0.349 174.80

0.366 170.38

SUMMARY OUTPUT

Regression Statistics

Multiple R 0.95225

R Square 0.90678 R2-Koeficijent Determinacije

Adjusted R Square 0.87571

Standard Error 2.93865 s-Standardna Greška Regresije

Observations 5 n-broj observacija

ANOVA df-stepen slobode

df SS MS F Significance F

Regression 1 252.007 252.007 29.182 0.012

Residual 3 25.907 8.636

Total 4 277.9143

CoefficientsStandard Error t Stat P-value Lower 95%Upper 95%

Intercept-b0 276.92 18.36 15.09 0.00 218.50 335.33

Fe-b1 -296.12 54.82 -5.40 0.01 -470.56 -121.67

b0,b1 sb1 trač

RESIDUAL OUTPUT

Observation Predicted Rm ResidualsStandard Residuals

1 189.563 2.177 0.856

2 180.975 -1.505 -0.591

3 177.422 -3.742 -1.470

4 173.572 1.228 0.482

5 168.538 1.842 0.724-1.0

Re

sid

uals

Rm[MPa]=276.92-296.12*Fe[%]y=276.92-296.12*x

165.0

170.0

175.0

180.0

185.0

190.0

195.0

0.28 0.3 0.32 0.34 0.36 0.38

Rm

Fe[%]

Fe Line Fit Plot

Rm

Predicted Rm

-5.0

-4.0

-3.0

-2.0

-1.0

0.0

1.0

2.0

3.0

0.28 0.3 0.32 0.34 0.36 0.38

Re

sid

uals

Fe[%]

Fe Residual Plot


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

Funkcije Excel-a vezane za regresije:

TREND = TREND(B2:B13;A2:A13;A15:A19) SLOPE = SLOPE(A2:A8;B2:B8) FORECAST = FORECAST(30,A2:A6;B2:B6) INTERCEPT = INTERCEPT(A2:A6;B2:B6) LOGEST = LOGEST(B2:B7,A2:A7;TRUE,FALSE) LINEST = LINEST(A2:A5;B2:B5,FALSE) GLOWTH = GLOWTH(B2:B7;A2:A7)

by PhD Milovan Milivojevic

Predlozi za dalje istraživanje:

MLR = Multiple Linear Regression Stepwise regression Ridge regression Robust regression LOESS regression ANN = Artificial Neural Network ...


Регресија

23.01.19

1Sl

ajd

ovi

su

gen

eral

no

baz

iran

i na

refe

ren

ci [

1,2

,5]



Regresija

др Милован Миливојевић

HvalanaPAŽNJI!!!

Documents

0 410 420 430 440 450 460 470 25...kvadrata odstupanja pojedinačnih tačaka od regresionog modela, minimalna. Ovakav koncept naziva se metoda najmanjih kvadrata i prisutan je u nauci