Le Xuan Minh Hoang_K51KHMT_Khoa Luan Tot Nghiep Dai Hoc

8/4/2019 Le Xuan Minh Hoang_K51KHMT_Khoa Luan Tot Nghiep Dai Hoc

http://slidepdf.com/reader/full/le-xuan-minh-hoangk51khmtkhoa-luan-tot-nghiep-dai-hoc 1/54

1

I HC QUC GIA HÀ NITRNG I HC CÔNG NGH

Lê Xuân Minh Hoàng

HUN LUYN MNG NRON RBF VI MCCÁCH U VÀ NG DNG

K HOÁ LUN TT NGHIP I HC H CHÍNH QUY

Ngành: Công ngh thông tin

HÀ NI - 2010



2

I HC QUC GIA HÀ NITRNG I HC CÔNG NGH

Lê Xuân Minh Hoàng

HUN LUYN MNG NRON RBF VI MCCÁCH U VÀ NG DNG

K HOÁ LUN TT NGHIP I HC H CHÍNH QUY

Ngành: Công ngh thông tin

Cán b hng dn: PGS.TS Hoàng Xuân Hun

HÀ NI ± 2010



3

LI CM N

Tôi mun bày t s cm n sâu sc ca mình ti thy Hoàng Xuân Hun, thuc

b môn Khoa hc máy tính, khoa Công ngh thông tin, trng i hc Công ngh,HQGHN ã nhn hng dn và tin tng giao cho tôi mt tài thú v nh th

này. Trong thi gian thc hin khóa lun, thy ã rt kiên nhn, nhit tình hng dn

và giúp tôi rt nhiu. Chính nhng hiu bit sâu rng và kinh nghim nghiên cu

khoa hc ca thy ã hiu ln nh hng giúp tôi tránh khi i nhng sai lm và giúp

tôi vt qua mi khi gp nhng b tc khi thc hin khóa lun này.

Tôi cng mun bày t s cm n ca mình ti các các thy, các cô trong b

môn, cng nh các thy, các cô trong khoa, trng ã to iu kin và giúp tôicó th thc hin và hoàn thành c khóa lun này. Nu không có nhng kin thc

c ào to trong các nm va qua, tôi ã không th hoàn thành khóa lun này.



4

TÓM TT NI DUNG

Mc dù ã c nghiên cu t rt lâu, nhng n nay bài toán ni suy và xp

x hàm nhiu bin vn còn có rt ít công c toán hc gii quyt. Mng Nron nhân

to là mt phng pháp hay gii quyt bài toán ni suy, xp x hàm nhiu bin.

Nm 1987M.J.D. Powell ã a ra mt cách tip cn mi gii quyt bài toán ni

suy hàm nhiu bin s dng k thut hàm c s bán kính (Radial Basis Function -

RBF), nm 1988 D.S. Bromhead và D. Lowe xut kin trúc mng Nron RBF và ã

tr mt công c hu hiu gii quyt bài toán ni suy và xp x hàm nhiu bin(xem

[11]).

Nm 2006 Hoàng Xuân Hun và các cng s (xem [1]) ã a ra thut toán lphai pha hun luyn mng nron RBF và ã cho ra kt qu tt tuy nhiên nhc im

ca nó là sai s ln hn khi d liu phân b không u. Khi áp dng phng pháp này

trên b d liu cách u ã cho ta thut toán lp mt pha HDH mi vi thi gian và

tính tng quát tt hn rt nhiu. (xem [2])

Ni dung ca khóa lun này là ng dng thut toán hun luyn mng nron

RBF vi mc cách u a ra mt phng pháp ni suy xp x hàm nhiu bin vi

b d liu có nhiu trng và chng minh hiu qu thông qua vic xây dng phn mmni suy hàm s.



5

MC LC

M U .................................................................................................................... 1

CHNG 1 BÀI TOÁN NI SUY, XP X HÀM S VÀ MNG NRON RBF

.................................................................................................................................. 13

1.1 BÀI TOÁN NI SUY VÀ XP X HÀM S ............................................ 13

1.1.1 Bài toán ni suy. .................................................................................... 13

1.1.1.1 Ni suy hàm mt bin. .................................................................. 13

1.1.1.2 Bài toán ni suy hàm nhiu bin. .................................................. 14

1.1.2 Bài toán xp x ....................................................................................... 14

1.1.3 Các phng pháp gii bài toán ni suy và xp x hàm s ....................... 141.2M NG NRON NHÂN TO .................................................................... 15

1.2.1Mng nron sinh hc : ........................................................................... 15

1.2.2Mng Nron nhân to ............................................................................ 16

1.3M NG NRON RBF ................................ ................................ ................. 20

1.3.1 K thut hàm c s bán kính và mng nron RBF ................................ . 20

1.3.2 Kin trúc mng Nron RBF ................................ ................................ ... 22

1.3.3 c im hun luyn ca mng Nron RBF ................................ .......... 23

CHNG 2 THUT TOÁN LP HDH HUN LUYN MNG RBF .............. 24

2.1 THUT TOÁN LP HDH HAI PHA HUN LUYNM NG RBF ......... 24

2.1.1 Phng pháp lp n gii h phng trình tuyn tính ............................ 24

2.1.2 Thut toán lp hai pha hun luyn mng RBF ................................ ........ 24

2.1.3Mô t thut toán. .................................................................................... 25

2.1.4 Nhn xét ................................................................................................ 26

2.2 THUT TOÁN LP HDH MT PHA HUN LUYN M NG RBF VI

B D LIU CÁCH U ................................ ................................ ............... 272.2.1 Biu din các mc ni suy ..................................................................... 27

2.2.2Mô t thut toán : ................................................................................... 27

2.2.3 Nhn xét ................................................................................................ 28



6

CHNG 3 : NG DNG THUT TOÁN LP MT PHA HUN LUYN

MNG RBF VÀO VIC GII QUYT BÀI TOÁN NI SUY XP X VI D

LIU NHIU TRNG............................................................................................ 29

3.1 NHIU TRNG VÀ BÀI TOÁN XP X NI SUY VI D LIU

NHIU ............................................................................................................. 293.1.1 Bn cht ca nhiu trng ................................ ................................ ........ 29

3.1.2 Phân phi chun .................................................................................... 30

3.1.3 Bài toán ni suy xp x hàm vi d liu nhiu trng ............................... 31

3.2 PHNG PHÁP HI QUY TUYN TÍNH K HÀNG XÓM GN

NHT............................................................................................................... 32

3.2.1 Phát biu bài toán hi quy. ................................ ................................ ..... 32

3.2.2Mô t phng pháp kNN ....................................................................... 32

3.3. Ý TNG VÀ PHNG PHÁP GII QUYT BÀI TOÁN NI SUYXP X VI D NHIU NHIU ................................ ................................ .... 33

CHNG 4 XÂY DNG PHN MM MÔ PHNG ......................................... 35

4.1 LP TRÌNH SINH NHIU TRNG THEO PHÂN PHI CHUN ........... 35

4.1.1 Phng pháp Box-Muller ...................................................................... 35

4.1.2 Sinh nhiu trng t hàm rand() trong C++ ............................................. 36

4.2 LP TRÌNH GII H PHNG TRÌNH CA BÀI TOÁN HI QUY

TUYN TÍNH KNN ......................................................................................... 36

4.3 GII THIU PHN MM XP X NI SUY VI D LIU NHIU ..... 37

4.3.1 Tng quan phn mm ............................................................................ 37

4.3.2 T chc d liu ................................ ................................ ...................... 38

4.3.3 Giao din và chc nng.......................................................................... 39

4.3.3.1 Tab ³Nhp d liu theo file´ ................................ ......................... 39

4.3.3.2 Tab ³T nhp´ .............................................................................. 41CHNG 5 K T QU THÍ NGHIM ................................ ................................ . 43

5.1 THÍ NGHIM V VIC THAY I KÍCH THC LI...................... 43

5.2 THÍ NGHIM V VIC CHN K ................................ ............................. 47



7

5.3 THÍ NGHIM KHI TNG S CHIU ...................................................... 49

5.4 SO SÁNH HIU QU VI PHNG PHÁP KHÁC................................ 50

CHNG 6 TNG K T VÀ PHNG HNG PHÁT TRIN ...................... 52

6.1 Tng kt ...................................................................................................... 52

6.2 Phng hng phát trin ca tài ............................................................. 53

TÀI LIU THAM K HO....................................................................................... 54



8

BNG DANH MC CÁC HÌNH MINH HA

Hình 1 :Minh ha bài toán ni suy hàm mt bin ..................................................... 13

Hình 2:Minh ha mt Neuron thn kinh sinh hc ................................ ..................... 16Hình 3: Cu to mt Nron nhân to ................................ ................................ ......... 17Hình 4: th hàm ngng ................................ ................................ ....................... 18Hình 5: th hàm tuyn tính ................................................................................... 18Hình 6: th hàm sigmoid ...................................................................................... 18Hình 7: th hàm tank ............................................................................................ 19Hình 8: th hàm Gauss ......................................................................................... 19Hình 9: Kin trúc mng Nron truyn ti ................................ ................................ .. 20Hình 10:Minh ha s nh hng ca hàm bán kính ................................ .................. 22Hình 11: Kin trúc ca mng RBF ............................................................................ 23Hình 12: Thut toán HDH hun luyn mng RBF ................................ ..................... 26

Hình 13 D liu có nhiu trng và hàm s chun ...................................................... 30Hình 14 Hàm mt xác sut ca phân phi chun vi phng sai k vng khácnhau .......................................................................................................................... 31Hình 15 Th hin li cách trên c s min giá tr ca các mc ban u ................... 34Hình 16 Giao din nhp d liu theo file ................................ ................................ ... 40Hình 17 Giao din nhp d liu th công .................................................................. 41Hình 18 Sai s khi chn các kích c khác nhau ca li d liu cho b d liu 100mc ngu nhiên, không áp dng heuristic ³n gian´ ................................ .................. 44Hình 19 Sai s khi chn các kích c khác nhau ca li d liu cho b d liu 200mc ngu nhiên, không áp dng heuristic ³n gian´ ................................ .................. 45Hình 20 Sai s khi áp dng các kích c khác nhau ca li d liu cho b d liu ngu

nhiên 100 mc, có heuristic ³n gian´ ....................................................................... 45Hình 21 Sai s khi chn các kích c khác ca li d liu cho b d liu 200 mcngu nhiên, có áp dng heuristic ³n gian´ ................................ ................................ 46Hình 22 Bng so sánh sai s ca phng pháp kNN-HDH khi áp dng cho hàm y1 vicác cách chn k khác nhau ........................................................................................ 47Hình 23 Bng so sánh sai s ca phng pháp kNN-HDH khi áp dng cho hàm y 2 vicác cách chn k khác nhau ........................................................................................ 48Hình 24 : Bng so sánh sai s ca phng pháp kNN-HDH khi dùng và không dùngHeuristic, vi s chiu tng dn................................................................................. 50Hình 25: Bng so sánh kt qu vi phng pháp GIC ................................ ............... 50



9

M U

Ni suy và xp x hàm s là mt bài toán quen thuc và rt quan trng trong các

lnh vc khoa hc i sng t xa n nay. Trng hp hàm s mt bin ã c nhà

toán hc Lagrange nghiên cu và gii quyt khá tt bng vic dùng hàm ni suy a

thc t th k 18. Trng hp hàm nhiu bin vì nhng khó khn trong x lý toán hc

cng nh tính ng dng trc ây cha nhi u nên các công c gii quyt bài toán hàm

nhiu bin vn còn rt hn ch. Ngày nay, cùng vi s phát trin mnh m ca máy vi

tính mà bài toán ni suy và xp x hàm nhin bin ã tr thành mt vn thi s vì

tính ng dng ln ca nó gii quyt các vn thc tin nh phân lp, nhn dng

mu...

Mng nron nhân to c bit n nh mt gii pháp tt cho vn này. Banu, khái nim ³Nron nhân to´ c bit n ln u vào khong u th k 20

trong n lc ca con ngi nhm ch to ra các b máy có kh nng suy ngh và hc

hi nh loài ngi bng vic mô phng mng nron sinh hc trong b não ca chúng

ta. Tri qua nhiu nm phát trin và nghiên cu, c s lý thuyt và thc nghim v

mng nron nhân to ã có nhiu bc tin áng k. Trong khong 30 nm tr li ây,

vi vic có thêm kh nng tính toán mnh m t máy vi tính mà mng nron nhân to

c coi là mt trong nhng công c có th gii quyt tt bài toán ni suy hàm nhiu

bin và trong thc t hin nay, mng nron nhân to ã c ng dng rt nhiu trongcác ng dng ni suy hàm nhiu bin nh phân lp, nhn dng mu «. Mng nron

nhân to có nhiu loi, trong ó có mng nron RBF - sau này c gi tt là mng

RBF - c coi là mt trong nhng loi nron nhân to tt nht gii quyt bài toán

ni suy hàm nhiu bin. Mng RBF ã c chú trng nghiên cu và ã có khá nhiu

thut toán hun luyn mng RBF c áp dng nhiu trong các ng dng cho thy kt

qu rt kh quan. Cùng vi nhu cu hun luyn mng RBF mt nghiên cu mi ây

c thc hin bi Hoàng Xuân Hun và các cng s (xem [1]) xây dng thut

toán hun luyn nhanh mng RBF ã cho ra i mt thut toán lp c t tên là là

thut toán HDH. Kt qu thc nghim cho thy thut toán lp HDH gm có hai pha,

khi ni suy hàm nhiu bin cho sai s và tc tính toán rt tt so vi các thut toán

hin hành khác. c bit khi hun luyn trên b d liu cách u thì thut toán này ch

cn dùng mt pha và gim tip phn ln thi gian tính toán. (xem [2])



10

Ngoài ra trong các ng dng thc t vi các bài toán ni suy ngi ta còn thy

ni lên mt vn quan trng khác, ó là do các các yu t khách quan, bt kh kháng

mà ny sinh sai s ti kt qu o ti các mc ni suy. Vic tin hành xây dng h

thng ni suy xp x da trên các d liu sai lch làm cho hiu qu b thp. ây là mt

bài toán c t ra t lâu nhng vn còn thu hút nhiu nghiên cu, ci tin cho ntn bây gi. Nhiu nghiên cu ã c tin hành va ni suy xp x tt va kh

c nhiu, mt phng pháp c bit n là phng pháp hi quy tuyn tính k hàng

xóm gn nht, (t gi xin gi tt là phng pháp kNN ) bng vic xây dng hàm tuyn

tính bc 1 cc tiu hóa sai s ti k im gn nht so vi im cn tìm giá tr ni suy.

Nhc im ca phng pháp này là ch có th tính c giá tr hi quy ti 1 im

c ch nh trc, vi mi im cn tính toán li phi hi quy li t u, không th

xây dng nên 1 h thng cho phép a ra ngay kt qu ni suy hàm s ti im tùy ý.

Vi bài toán ni suy xp x trên d liu nhiu này, Hoàng Xun Hun ã ny ra

ý tng ng dng thut toán lp HDH mt pha gii quyt, c th là trên min giá tr

các mc ni suy ban u, ta xây dng nên 1 b các mc ni suy mi cách u nhau (t

gi xin c gi là li ni suy cho gn), sau ó dùng phng pháp hi quy tuyn tính

kNN tính giá tr ti mi nút ca li ni suy mi, cui cùng dùng thut toán lp

HDH mt pha hun luyn mng nron RBF trên b d liu cách u mi này, ta s

c mt mng nron RBF va kh c nhiu va ni suy xp x tt. Phng pháp

này có th kt hp u im kh nhiu ca phng pháp kNN vi u im v tc và

tính tng quát ca thut toán lp HDH mt pha ng thi loi b tính bt tin ca phng pháp kNN nh ã nêu trên và hn ch ca thut toán HDH mt pha rng d

liu u vào phi có các mc ni suy cách u.

T ý tng ban u này n thc t, vi vô s câu hi cn li áp, nh chia

li cách u th nào là ? Nu quá tha thì sai s có quá ln không ? Nu quá dày

thì liu thi gian hun luyn có t yêu cu không ? Các yu t nào nh hng n

hiu qu hun luyn t ó iu chnh làm tng cht lng mng ? «. là mt tài

ht sc thú v tìm hiu. Di s giúp , ch bo tn tình ca thy Hoàng Xuân

Hun, tôi ã tin hành thc hin khóa lun tt nghip, ni dung là nghiên cu thc

nghim c th hóa và kim chng hiu qu ca phng pháp mi này, ly tên tài

là : ³ Hun luyn mng nron RBF vi mc cách u và ng dng´ .

Ni dung ca khóa lun s i sâu nghiên cu nhng vn sau :



11

- Kho cu mng nron RBF.

- Kho cu nghiên cu thut toán lp HDH mt pha vi b d liu cách u.

- Tìm hiu nhiu trng phân phi chun và cách xây dng.

- Kho cu phng pháp hi quy tuyn tính kNN.

-

Xây dng phn mm mô phng h thng ni suy hàm nhiu bin vi dliu có nhiu da trên vic kt hp phng pháp kNN và thut toán lp HDH mt pha .

- Thông qua lý thuyt ln thc nghim, nghiên cu c im, ci tin hiu

qu phng pháp này, ch ra u im so vi các phng pháp khác.

trình bày các ni dung nghiên cu mt cách logic, ni dung khóa lun c

chia làm 4 phn chng chính :

- Chng 1 : Bài toán ni suy xp x hàm s và mng nron RBF :

Chng này s cung cp cái nhìn tng th v nhng khái nim xuyên

sut trong khóa lun, bao gm : bài toán ni suy xp x hàm nhiu bin,

mng RBF.

- Chng 2 : Thut toán lp HDH hun luyn mng nron RBF.

Chng này s mô t phng pháp hun luyn mng RBF bng thut

toán HDH hai pha vi d liu ngu nhiên và c bit là thut toán HDH

mt pha vi d liu cách u làm nn tng cho phng pháp mi.

Chng 3 : ng dng thut toán lp mt pha hun luyn mng RBF vào vic gii

quyt bài toán ni suy xp x vi d liu nhiu trng. Chng này s kho cu v nhiu trng và phng pháp hi quy tuyn

tính kNN. T ó trình bày ý tng mi áp dng thut toán HDH mt

pha trên b d liu không cách u và có nhiu bng cách thay b d

liu u vào ban u bng b d liu mi vi các mc ni suy cách u

và ã kt qu o ã c kh nhiu thông qua phng pháp kNN. Nó

cùng vi chng 5 thc nghim là hai chng trng tâm ca khóa lun

này.

- Chng 4 : Xây dng phn mm mô phng.

Chng này tôi trình bày v phng pháp gii quyt các bài toán nh

nh sinh nhiu trng theo phân phi chun, hi quy tuyn tính kNN



12

a ra phng hng lp trình cho chúng. ng thi trình bày tng quan

và giao din, các chc nng ca phn mm

- Chng 5 : Kt qu thí nghim

Chng này tôi trình bày quá trình và kt qu nghiên cu thc nghim, bao gm vic xây dng phn mm mô phng, nghiên cu tính tng quát

vi các hàm, các b d liu vi nhau. Rút ra kt lun v c im, cách

chn li d liu, chn k « hoàn thin phng pháp này. ng thi

so sánh sai s ca phng pháp này vi sai s mt phng pháp khác ã

c công b ti mt tp chí khoa hc quc t có uy tín.

- Chng 6: Tng kt và phng hng phát trin tài

Chng này tôi tng kt li nhng gì làm c trong khóa lu n này và

phng hng phát trin cho tài.



13

CHNG 1BÀI TOÁN NI SUY, XP X HÀM S VÀ MNG NRON RBF

Ni dung chng này bao gm :

y Phát biu bài toán ni suy và xp x hàm s

y Mng Nron nhân to

y Mng Nron RBF

y Bài toán ni suy xp x vi d liu có nhiu trng

1.1 BÀI TOÁN NI SUY VÀ XP X HÀM S

1.1.1 Bài toán ni suy.

1.1.1.1 Ni suy hàm mt bin.

Bài toán ni suy hàm mt bin tng quát c t ra nh sau: Mt hàm s

y=f(x) ta cha xác nh c mà ch bit c các im x0 = a < x1 < x2 < « < xn-1 < xn = b vi các giá tr yi= f(xi ). Ta cn tìm mt biu thc gii tích N (x) xác nh

gn úng giá tr y xN } ti các im ca hàm f(x) sao cho ti các im xi

thì hàm s trùng vi giá tr yi ã bit . V phng din hình hc, ta cn tìm hàm N (x)

có dng ã bit sao cho th ca nó i qua các im(xi ,yi ) vi mi i=0,1,...,n.

Hình 1 : Minh ha bài toán ni suy hàm mt bin

Trong các ng dng thc t hàm f(x) thng là hàm thc nghim hoc khó tính

nên các giá tr yi ch ly c bng cách o ti các im c nh xi . Các im _ a 0

N

i i x

!

c gi là các mc ni suy.

x0 x1 xn

f(x0)

f(x)

N (x



14

1.1.1.2 Bài toán ni suy hàm nhiu bin.

Tng t bài toán ni suy hàm mt bin. Xét mt hàm cha bit

: ( )n m f D R R� p và mt tp hun luyn _ a 1

, ; , N

k k k n k m

k x y x

y

!� � sao cho

( ) ; 1,

k k

f x y k n! !

. Chúng ta cn tìm mt hàm s N mt dng ã bit tha mãniu kin ni suy ó là : ( ) ; 1,k k x y k nN ! !

Vi trng hp m>1, bài toán tng ng vi m bài toán ni suy m hàm nhiu

bin giá tr thc, nên n gin ngi ta thng xét bài toán có m=1.

1.1.2 Bài toán xp x

Hàm x f y ! o c ti n im thuc on ? Aba,

1 2 n x x x L ; i i y f x!

Vi 1e nk , ta tìm hàm

(1)

Trong ó là dng hàm cho trc, c1....ck là các tham s cn tìm sao cho sai s

trung bình phng 2

1

1 n

i ii

x yn

N !

! § § nh nht. Khi ó ta nói là hàm xp

x tt nht ca y trong lp hàm có dng (1) theo ngha tng bình ph ng ti thiu.

1.1.3 Các phng pháp gii bài toán ni suy và xp x hàm s

Bài toán ni suy hàm mt bin ã c nghiên cu nhiu t th k 18.Ban u nó c gii quyt bng phng pháp s dng a thc ni suy : a thc

Lagrange, a thc Chebysept... tuy nhiên khi s mc ni suy ln thì ni suy bng

a thc thng xãy ra hin tng phù hp tri(over-fitting) do bc ca a thc

thng tng theo s mc ni suy. gii quyt hin tng phù hp tri, thay vì

tìm a thc ni suy ngi ta ch tìm a thc xp x, thng c gii quyt bng

phng pháp xp x bình phng ti thiu ca Gauss. Mt phng pháp khác

c xut vào u th k 20 ó là phng pháp ni suy Spline. Trong ó hàm

ni suy c xác nh nh ghép trn các hàm ni suy dng n gin (thngdùng a thc bc thp) trên tng on con. Phng pháp này hay c áp dng

nhiu trong k thut.

Tuy nhiên, nh ã trình bày trên, các ng dng mnh m nht ca ni

suy hàm nhiu bin trong thc t ngày nay òi hi phi gii quyt c bài toán

ni suy hàm nhiu bin. Cùng vi s phát trin mnh m ca ngành Công Ngh



15

Thông Tin, bài toán ni suy xp x hàm nhiu bin c quan tâm và có nhng

nghiên cu t phá trong khong 30 nm tr li ây, vi các cách tip cn ch

yu nh :

- Hc da trên mu : Thut ng này c T.Mitchell dùng ch các

phng pháp k-láng giêngf agn nht, phng pháp hi quy trng s a phng

- Mng nron MLP

- Mng nron RBF

hiu rõ hn, xin xem thêm trong [3]

1.2 MNG NRON NHÂN TO

Loài ngi tin hóa c n ngày hôm nay là do có b não vt tri so vi

các loài khác. Mc dù vy, b não ngi cho n nay vn cha ng nhiu bí mt mà

con ngi cha gii áp ht c. ã có nhin nghiên cu v b não ngi, bao gm

nhng n lc mô phng não ngi to ra trí thông minh nhân to mà cu trú c mng

nron sinh hc là mt kt qu quan trng. Mng nron sinh hc là mt mng li

chng cht các nron có kt ni vi nhau nm trong não ngi.

Ly ý tng t mng nron sinh hc, khái nim mng nron nhân to ã ra i,

ó là mt mng gm có các nút c thit k mô hình mt s tính cht ca mng

nron sinh hc. V mt toán hc thì mng nron nhân to nh là mt công c xp

x mt hàm s trong không gian a chiu. Ngoài ra, im ging nhau gia mng nron

nhân to và mng nron sinh hc, ó là kh nng có th hun luyn hay kh nng hc,ây chính là u im quan trng nht ca mng nron nhân to, chính vì iu này mà

mng nron nhân to có th thc hin tt mt công vic khác khi c hun luyn và

n khi môi trng thay i mang nron nhân to li có th c hun luyn li

thích nghi vi iu kin mi..

1.2.1 Mng nron sinh hc :

Mng Nron sinh hc là mt mng li (plexus) các Neuron có kt ni hoc có

liên quan v mt chc nng trc thuc h thn kinh ngoi biên (peripheral nervous

system) hay h thn kinh trung ng (central nervous system).



16

Hình 2: Minh ha mt Neuron thn kinh sinh hc

Trên ây là hình nh ca mt t bào thn kinh(Nron thn kinh), ta chú ý thyrng mt t bào thn kinh có ba phn quan trng:

-Phn u cng có nhiu xúc tu (Dendrite) là ni tip xúc vi các vi các im

kt ni(Axon Terminal) ca các t bào thn kinh khác

-Nhân ca t bào thn kinh (Nucleus) là ni tip nhn các tín hiu in truyn

t xúc tu. Sau khi tng hp và x lý các tín hiu nhn c nó truyn tín hiu kt qu

qua trc cm ng (Axon) n các im kt ni (Axon Terminal) uôi.

-Phn uôi có nhiu im kt ni (Axon Terminal) kt ni vi các t bào

thn kinh khác.

Khi tín hiu vào xúc tu kích hot nhân nhân Neuron có tín hiu ra trc cm

ng thì Neuron c gi là cháy. Mc dù W. Mculloch và W.Pitts (1940) xut mô

hình mng nron nhân to khá sm nhng nh Heb (1949) mi là nn tng lý lun

cho mng nron nhân to.

nh Heb: Khi mt neuron(thn kinh) A gn neuron B, kích hot thng

xuyên hoc lp li vic làm cháy nó thì phát trin mt quá trình sinh hoá các neuron

làm tng tác ng này.

1.2.2 Mng Nron nhân to

Mng Nron nhân to c thit k mô phng mt s tính cht ca mng

Nron sinh hc, tuy nhiên, ng dng ca nó phn ln li có bn cht k thut.Mng

Nron nhân to (Artificial Neural Network) là mt máy mô phng cách b não hot

ng và thc hiên các nhim v, nó ging mng nron sinh hc hai im :



17

-Tri thc c nm bt bi Nron thông qua quá trình hc.

- ln ca trng s kt ni Nron óng vai trò khp ni ct gi thông tin.

a) Cu t o mt N ron trong mng N ron nhân t o

Hình 3: Cu to mt Nron nhân to

Mt neuron bao gm các liên kt nhn tín hiu vào bao gm các s thc x i cùng

các trng s kt ni wi tng ng vi nó, hàm F gi là hàm kích hot to tín hiu ra

da trên giá tr hàm tng có trng s ca các giá tr u vào, Y là giá tr u ra ca

Nron. Ta có th biu din mt Nron nhân to theo công thc toán hc nh sau:

01

wn

i ii

Y ¡

x w!

¨ ¸! © ¹

ª º§

Tùy vào thc t bài toán hàm F là mt hàm c th nào y, trong quá trình hun

luyn(hc) thì các tham s wi c xác nh. Trên thc th F thng c chn trong

nhng hàm sau:

Xn

X1

X2

««

w2

w1

w3

w0

f

Y



18

1) Hàm ngng 1; 0

( ) ( ) 1; 0

x F x x xN

®

! ! ¯ u°

-1.5

-1

-0.5

0

0.5

1

1.5

-6 -4 -2 0 2 4 6

Hình 4: th hàm ngng

2) Hàm tuyntính ( ) x ax!

-¢

-3

-£

-¤

¥

¤

£

3

¢

-¦

-¢

-£ ¥ £

¢

¦

Hình 5: th hàm tuyn tính

3 ) Hàm sigmoid 1( )

1 x

§

xe

!

0

0 ̈ 5

1

© 6

© 4

© 2 0 2 4 6

Hình 6: th hàm sigmoid



19

4 ) Hàm tank 1

( )1

x

x

e F x

e

!

-

-

.

.

-

-

-

Hình 7: th hàm tank

5 ) Hàm bán k ính(Gauss)

2

( ) x

x e!

0

0.5

1

-6 -4 -2 0 2 4 6

Hình 8: th hàm Gauss

Trên thc t thì các h hàm sigmoid thng dùng cho mng Nron truyn thng

nhiu tng MLP vì các hàm này d tính o hàm: '( ) ( )(1 ( )) f x f x f x! , trong khi ó

mng Nron RBF li dùng hàm kích hot là hàm bán kính vì tính a phng ± mt u

im ca mng RBF s c trình bày rõ hn trong phn sau..

b) Kin trúc ca mng N ron nhân t o

Kin trúc ca mng Nron nhân to ly ý tng ca mng Nron sinh hc ó là

s kt ni ca các Nron. Tuy nhiên, mng Nron nhân to có kin trúc n gin hn

nhiu, v c s lng Neuron và c kin trúc mng, trong khi mng Nron t nhiên

mt Neuron có th kt ni vi mt Neuron khác bt k trong mng thì mng

Nron nhân to các Neuron c kt ni sao cho nó có th d dàng c biu din bi

mt mô hình toán hc nào y. Ví d là trong mng nron truyn ti hay mng nron

RBF các Neuron c phân thành nhiu lp, các Neuron ch c kt ni vi các

neuron lp lin trc hoc lin sau lp ca nó



20

Hình 9: K in trúc mng Nron truyn ti

c ) Quá trình hc

Nh ã nói trên mng Nron nhân to có kh nng hun luyn c (hc),

quá trình hun luyn là quá trình mà mng Nron nhân to t thay i mình theo môi

trng - ây là b d liu hun luyn - cho ra kt qu phù hp nht vi iu kinca môi trng. iu kin quá trình hun luyn có th c thc hin là khi mng

Nron nhân to ã xác nh c kin trúc c th (thng là theo kinh nghim) trong

ó bao gm hàm kích hot F. V bn cht quá trình hc là quá trình xác nh các tham

s wi ca các Neuron trong mng Nron và tùy theo các thut toán hun luyn c th,

có th bao gm vic xác nh các tham s còn cha bit trong hàm kích hot. Có ba

kiu hc chính, mi kiu mu tng ng vi mt nhim v hc tru tng. ó là hc

có giám sát, hc không có giám sát và hc tng cng. Di ây xin nêu ra phng

pháp hc có giám sát, là phng pháp c dùng trong khóa lun này. Các phng

pháp khác xem thêm [4] ± chapter 4.

Hc có giám sát

Trong hc có giám sát, ta c cho trc mt tp ví d gm các cp

( , , 1.. ), ,i i x y i n x X y Y ! � � và mc tiêu là tìm mt hàm : f Y p (trong lp các hàm

c phép) khp vi các ví d. Trên thc t ngi ta thng tìm hàm f sao cho tng

bình phng sai s t giá tr nh nht trên tp ví d: 2

1

( )n

i i

i

E f x y!

! §

1.3 MNG NRON RBF

1.3.1 K thut hàm c s bán kính và mng nron RBF

Hàm c s bán kính c gii thiu bi M.J.D. Powell gii quyt bài toán

ni suy hàm nhiu bin nm 1987. Trong lnh vc mng Nron, mng Nron RBF



21

c xut bi D.S. Bromhead và D. Lowe nm 1988 cho bài toán ni suy và xp x

hàm nhiu bin(xem [5]).

Di ây s trình bày s lc k thut s dng hàm c s bán kính gii

quyt bài toán ni suy hàm nhiu bin.

K thut hàm c s bán k ínhKhông mt tính tng quát gi s m=1 khi ó hàm ni suy N có dng nh sau :

(1)

ây k N là hàm c s bán kính th k . Thông thng k N có nhng dng sau:

y (2)

y (3)

y (4)

Trên thc t thì ngi ta thng cho k N dng (2) và trong khuôn kh khóa

lun này ch xét k N dng (2).

chú ý rng ây ngi ta ta dùng chun ||.|| là chun Euclidean2

1

N

ii

u u!

! § ;

k

v

là tâm ca mi hàm c s bán kính k N ; k W là bán kính hay còn gi là tham s rng ca

k N .

Ta thy vi dng hàm bán kính ã chn trên thì khong cách gia vecto input

x và tâmk v càng ln thì giá tr ca hàm bán kính càng nh. Vi mi k thì giá tr ca

bán kính k W c dùng iu khin min nh hng ca hàm bán kính k N . Theo ó,

nu 3k

k x v W " thì giá hàm ( )k xN < e-9

là rt nh, không có ý ngha.



22

Hình 10: Minh ha s nh hng ca hàm bán kính

Ví d nh hình trên mt vòng tròn to tng trng cho mt hàm c s bán

kính, các hàm này ch nh hng n các im bên trong nó bán kính ca nó.

Thay công thc (2) vào (1) ta c biu din toán hc ca k thut hàm c s

bán kính nh sau:2

2

0 01 1

( ) ( )

j k

k

x v N N

j j j

k k k

k k

x w x w w e w yW N N

! !

! ! !§ § (5)

Mt c im rt li th khi s dng hàm bán kính gii quyt bài toán ni

suy hàm nhiu bin, ó là khi xét giá bình phng sai s 2

1

ni i

i

x yN !! § thì

ngi ta ã chng minh c rng E ch có mt cc tr duy nht. Do vy vic tìm các

tham s ca các hàm c s bán kính( , ,k

k k w v W ) cho E t cc tiu s c gii

quyt rt nhanh và hiu qu.

1.3.2 K in trúc mng Nron RBF

Mng RBF là mt loi mng Nron nhân to truyn thng gm có ba lp. Nó

bao gm n nút ca lp u vào cho vector u vàon x R� , N nron n (giá tr ca

Nron n th k chính là giá tr tr v ca hàm c s bán kính k N ) và m Nron u ra.



23

Hình 11: K in trúc ca mng RBF

D nhiên, nh ã nói trên, không mt tính tng quát, ni dung khóa lun này ch xéttrng hp m=1.

1.3.3 c im hun luyn ca mng Nron RBF

u im ca mng RBF là thi gian hun luyn ngn, vic thit lp rt nhanh và n

gin . Ngày nay mng Nron RBF c s dng trong rt nhiu lnh vc:

y X lý nh

y Nhn dng ting nói

y X lý tín hiu sy Xác nh mc tiêu cho Radar

y Chun oán y hc

y Quá trình phát hin li

y Nhn dng mu

y «.

IN

P UT

HIDDEN

k N x w w0

w0 Y

X



24

C HNG 2 :

THUT TOÁN LP HDH HUN LUYN MNG RBF


2.1Mô t thut toán lp HDH hai pha dùng cho d liu hun luyn bt k2.2Mô t thut toán lp HDH mt pha dùng cho d liu hun luyn cách u

(chi tit v 2 thut toán này xin xem thêm ti [6])

2.1. THUT TOÁN LP HDH HAI PHA HUN LUYN MNG RBF

Trong chng này, trc khi cp n thut toán lp, tôi xin c trình bày

c s lý thuyt c dùng xây dng thut toán

2.1.1 Phng pháp lp n gii h phng trình tuyn tính

Gi s ta cn gii h phng trìnhAx=B

Trc ht ta a v h tng ng

X=Bx+d

Trong ó B là ma trn vuông cp n tha mãn j

||B||=max{ i,j| / i=1..n}

Phng pháp lp n

Vi vecto x0

= bt k, dãy nghim ca phng trình c xây dng bi

công thc lp

xk+1 = Bxk + d; ( xk+1i=

i,jxk j+d)

tha mãn = x* trong ó x* là nghim úng duy nht ca

Vi c lng sai s

||x*i-x

k i|| <= max{| xk

j ± xk-1 j |}

Thông thng ta có th chn x 0=d, khi ó coi nh ta ã tính xp x ban u vi

x0 = 0 và x0=d là bc tip theo.2.1.2 Thut toán lp hai pha hun luyn mng RBF

Xét tp hun luyn _ a 1

, ; , N

k k k n k m

k x y x R y R

!� � , không mt tính tng quát,

ây ta xét mng RBF có mt Nron output (m=1), khi ó biu din toán hc ca mng

RBF là:



25

01

( ) ( ) N

i i ik k

k

x w x w yJ J !

! !§ (1)

Xét ma trn ,k i N N N

v* ! trong ó

2 2 /

, ( )i k

k x xik i k x e

W N N

! ! , chú ý rng ây

ta chn tâm ca các hàm c s bán kính chính là tt c các im thuc tp d liu

input X.

Ta ký hiu I là ma trn n v cp N ; W =¼¼¼

½

»

¬¬¬«

N w

w

...1

, Z =¼¼¼

½

»

¬¬¬«

N z

z

...1

là các véc t trong

không gian N -chiu R N trong ó:

, N k e (2)

và t

? A N x N

jk I ,] !*!= (3)

thì

2 2, || || /

0; :

; : j k

k k j x x

k hi k j

e k hi k jW ]

!®±! ¯

{±°

(4)

Khi ó h phng trình (1) tng ng vi h :

W= = W +Z (5)

Nh ã nói 1.3.1, vi các tham s k W ã chn và w0 tùy ý, h (1) và do ó h

(5) luôn có duy nht nghim W. V sau giá tri w0 c chn là trung bình cng ca các

giá tr yk :

w0 = §!

N

k

k y N 1

1

(6)

Vi mi k e N, ta có hàm qk ca k W xác nh nh sau:

§!

! N

j

jk k q1

,] (7)

Hàm qk là n iu tng và vi mi s dng q <1 luôn tn ti giá tr k W sao

cho qk ( k W )=q.

2.1.3. Mô t thut toán.

Vi sai s I và các hng s dng q, E <1 cho trc, thut toán bao gm 2

pha xác nh các tham s W k và W*. Trong pha th nht, ta s xác nh các k W qk

eq và gn vi q nht (ngha là nu thay Wk =Wk /E thì qk >q). Pha sau tìm nghim gn



26

úng W* ca (5) bng phng pháp lp n gin. Thut toán c c t trong hình

12.

Hình 12: Thut toán HDH hun luyn mng RBF

tìm nghim W* ca h (5) ta thc hin th tc lp nh sau.

Khi to W0=Z ;

Tính

Wk+1= k W = +Z ; (8)

Nu iu kin kt thúc cha tha mãn thì gán W0 := W1 và tr li bc 2 ;

Vi mi vect N-chiu u, ta ký hiu chun §!

! N

j

juu1

*, iu kin kt thúc có th chn

mt trong biu thc sau.

a)

I e *

01

1W W

q

q

(9)

b)

q

q Z

q

Z

q

t ln

)1ln(lnln

ln

)1(ln

**

!

uI

I

, vi t là s ln lp.

(10)

2.1.4. Nhn xét

Thut toán này có u im là cài t rt n gin và tc hi t rt nhanh và

ta có th iu chnh giá tr sai s ni suy nh tùy ý. Song do kin trúc mng phc tp

nên thng xãy ra hin tng phù hp tri(over -fitting) cho tp d liu hun luyn.

hiu chi tit hn v thut toán HDH ( xem thêm ti [6]). Ti ó, tác gi, vi các kt

qu nghiên cu thc nghim ã cho thy tc tính toán và tính tng quát ca thuttoán lp hai pha HDH tt hn nhiu so vi các thut toán kinh im khác nh phng

pháp lp Gradient hay thut toán QTL ..... cho gn và phân bit vi thut toán lp

mt pha sp trình bày ngay sau ây, ta gi thut toán lp HDH hai pha này là thut

toán HDH-2

Proceduce Thut toán 2 pha hun luyn mng RBF

for k=1 to N do

Xác nh các Wk qk eq, và nu thay Wk =Wk /E thì qk >q; // Pha 1Tìm W* bng phng pháp lp n(hoc phng pháp lp Seidel); //Pha 2

End



27

2.2 THUT TOÁN LP HDH MT PHA HUN LUYN MNG RBF VI

B D LIU CÁCH U

Thut toán lp hai pha trên có c im thi gian hun luyn ca pha mt

chim phn ln. Vi trng hp các mc hun luyn là mc cách u, thut toán lp

hai pha có th b i pha th nht này, tr thành thut toán mt pha. Thut toán nàyhun luyn trên các mc cách u thng áp dng vi các ng dng lnh vc ha

máy tính, nhn dng mu, các bài toán k thut «. và là c s gii quyt bài toán

ni suy vi b d liu hun luyn có nhiu sp trình bày trong chng tip theo.

2.2.1 Biu din các mc ni suy

Các mc ni suy là các mc cách u, có th c biu din di dng

xi1,i2«,in = (x ,«, x )

trong ó x = x + ik.hk . Vi k c trng cho chiu, hk (k=1,2,..,n) là hng s biu

din khong cách gia 2 mc cách u ca 1 chiu, biu din s thay i ca chiu x k ; ik nhn giá tr t 0 n nk ; vi nk +1 là s mc chia mi chiu

2.2.2. Mô t thut toán :

Thay cho chun Euclide, ta xét chun Mahalanobis : ||x|| = xT Ax, vi A là ma

trn có dng

Các tham s k s c chn = hk . Khi ó, biu thc (1) ti mc 2.1.2 có th c vitli nh công thc sau :

(x) = i1..in i1..in(x)+w0

Ma trn = tr thành :

=

qi1..in có th vit li là

qi1..in =

Áp dng mt vài bin i toán hc, xem chi tit ti [6], tác gi ã chng

minh c rng bán kính i1..in tha mãn iu kin q i1..in < q thì :



28

Nh vy, ta có th chn

cho mi hàm bán kính m bo iu kin dng luôn xy ra. Nh vy, pha ban u

tính tham s rng cho tng hàm bán kính, c him phn ln thi gian hun luyn ã

c gii quyt tc thì, bài toán lp hai pha tr thành thut toán lp mt pha hun

luyn trên các mc cách u.

2.2.3. Nhn xét Theo các kt qu thc nghim ti [6], cùng vi vic cho thy thut toán lp hai

pha HDH ã cho thy tính tng quát tt và thi gian hun luyn nhanh hn nhiu so

vi các thut toán khác, cng ti [6], bng các kt qu thc nghim tác gi cng ch ra

rng thut toán lp mt pha HDH này vi vic gim i phn ln thi gian hun luyn

ã cho thy u im rt ln tc tính toán, ngoài ra còn cho thy tính tng quát ca

thut toán lp HDH mt pha còn tt hn so vi thut toán lp hai pha HDH.

Thut toán này có c im là cùng vi 1 min giá tr, nu các mc cách u

c chia càng dày c thì tính tng quát càng tt. cho gn, t ây thut toán này s c gi là HDH-1 phân bit vi thut

toán HDH-2, và khi gi th này nghim nhiên ta coi b d liu hun luyn là b d

liu bao gm các mc ni suy cách u.



29

C HNG 3 :

NG DNG THUT TOÁN LP MT PHA HUN LUYN

MNG RBF VÀO VIC GII QUYT BÀI TOÁN NI SUY

XP X VI D LIU NHIU TRNG


y Nhiu trng và bài toán ni suy xp x có nhiu trng

y Phng pháp hi quy tuyn tính kNN

y Trình bày ý tng và phng pháp gii quyt bài toán

4.1. NHIU TRNG VÀ BÀI TOÁN XP X NI SUY VI D LIU NHIU

4.1.1.

Bn cht ca nhiu trng Nhiu trng là mt vn c phát sinh trong các ng dng thc tin, nó là

sai s hay li trong khi o các mc ni suy. Thông thng, nu kh ông mun nói là hu

ht các phép o u có li, kt qu o c cho bi công thc

X=T+E

Trong ó X là kt qu o, T là giá tr chính xác và E là li trong quá trình o.

Trong ó, li E c là tng hp ca E r (li ngu nhiên) và E s (li h thng).

E=Er+Es

Li h thng là li do các yu t ch quan v công c o lng hoc do các tác

ng ngoi cnh có th khc phc c, vì vy vi bài toán tng quát ni suy hàm

nhin bin tron khóa lun này ta ch xét li ngu nhiên. Li ngu nhiên c gây ra

bi bt k yu t ngu nhiên nào có nh hng n s o lng trên mu. Theo lý

thuyt v sai s o lng, sai s ngu nhiên không có bt k tác dng nht quán nào

trên toàn b mu. Thay vào ó, nó làm cho các giá tr o c tng hoc gim mt

cách ngu nhiên so vi giá tr chính xác. iu này có ngha là nu chúng ta coi tt c

các li ngu nhiên nm trên mt phân b thì chúng s có tng bng 0. c im quan

trng ca li ngu nhiên là nó có th bin i d liu nhng không làm nh hng n

giá tr trung bình ca nhóm. Cho nên, các li ngu nhiên này c gi là nhiu trng. rõ hn chi tit xin xem thêm trong [7]



30

Hình 13 D liu có nhiu trng và hàm s chun

th hin sai s mà ây là sai s ngu nhiên, tc nhiu trng, ngi ta tìm

cách biu din chúng trong mt phân phi, ây ta s dng phân phi chun.

3.1.2 Phân phi chun

P hân phi chun , hay còn gi là phân phi Gauss (xem chi tit [8]), là mt

phân phi xác sut cc k quan trng trong nhiu lnh vc. Nó là h phân phi c ó dngtng quát ging nhau, ch khác tham s trung v và phng sai . Cách d thy nht

th hin c tính ca phân phi này là thông qua hàm mt xác sut vi công thc :

Trong ó c gi là trung v, là giá tr các mt xác sut cao nht và là

trung bình cng ca phân phi. Hàm Gauss i xng qua . 2 c gi là phng sai,

nó th hin mc tp trung ca phân phi xung quanh trung v. c gi là lch

chun và chính là rng ca hàm mt . Phân phi chun c th hin di dng

N(, 2)



31

Hình 14 Hàm mt xác sut ca phân phi chun vi phng sai k vng khác

nhau

Hình trên th hin hàm mt vi 4 tp tham s khác nhau, ta thy ng có

=-2 i xng vi ng x=-2 nm lch hn ra khi 3 ng còn li i xng qua

ng thng x=0. Các hàm có phng sai khác nhau th hin s tp trung xung quanh

tr trung bình khác nhau, các hàm có phng sai nh th hin s tp trung dày c

xung quanh tr trung bình và ngc li.

Mt s tính cht vi phân phi chun:

y Hàm mt là i xng qua giá tr trung bình.

y 68.26894921371% ca din tích di ng cong là nm trong lch chun 1

tính t tr trung bình.

y 95.4499736103% ca din tích di ng cong là nm trong lch chun 2.

y 99.7300203936% ca din tích di ng cong là nm trong lch chun 3.

y 99.9936657516% ca din tích di ng cong là nm trong lch chun 4.y «.

Trong thc nghim, ta thng gi thit rng d liu ly t tng th có dang

phân phi xp x chun. Nu gi thit này c kim chng thì có khong 68% s giá

tr nm trong khong 1 lch chun so vi tr trung bình, khong 95% s giá tr trong

khong hai ln lch chun và khong 99.7% nm trong khong 3 ln lch chun.

ó là "quy lut 68-95-99.7" hoc quy tc kinh nghim.

3.1.3

Bài toán ni suy xp x hàm vi d liu nhiu trngBài toán này cng tng t nh bài toán ni suy xp x hàm nhiu bin nh ã

nêu trên, im khác bit là bài toán này, b d liu hun luyn mà ta có bao gm các

mc ni suy và các giá tr bng giá tr o c ti các mc ó cng vi sai s và dãy

các sai s là mt dãy nhiu trng phân b chun. C th là :

Hàm f(x) o c ti n im x1, x2 ,..,xn thuc min D c các kt qu :



32

Vi

Ta cn tìm hàm sao cho trung bình tng bình phng sai s

nh nht.

3.2 PHNG PHÁP HI QUY TUYN TÍNH K HÀNG XÓM GN NHT

ây là mt phng pháp ph bin hi quy hàm s, u im ca nó là cài t

n gin và có th kh nhiu, nhc im ln nht ca nó là ch có th hi quy ti

nhng im nh trc, vi mi giá tr cn bit thì phi hi quy li t u, không th

xây dng nên mt h thng cho ra kt qu xp x ngay ti mi im bt k. Tuy nhiênnó c coi là mt công c hu hiu c áp dng trong nhiu phng pháp, trong ó

có phng pháp sp c gii thiu sau ây ây. Nhng trc ht, tôi xin c mô t

phng pháp hi quy tuyn tính k hàng xóm gn nht (t sau xin c gi tt là

phng pháp kNN)

3.2.1 Phát biu bài toán hi quy.

Xét min gii ni D trong R n và f : D (�R n)pR m là mt hàm liên tc xác nh

trên D. Ngi ta ch mi xác nh c ti tp T gm N im x1 ,x2«.x N trong D là

f(xi ) = yi vi mi i=1,2«, N và cn tính giá tr ca f(x) ti các im x khác trong D (x=

x1,«,xn).

Ta tìm mt hàm )( xN xác nh trên D có dng ã bit sao cho:

N (xi ) } yi , i=1,« N . (1.)

và dùng N (x) thay cho f(x). Khi m >1, bài toán ni suy tng ng vi m bài toán ni

suy m hàm nhiu bin giá tr thc, nên n gin ta ch cn xét vi m=1.

3.2.2 Mô t phng pháp kNN

Trong phng pháp này, ngi ta chn trc s t nhiên k . Vi mi D x� , x=

x1,«,xn ta xác nh giá tr )( xN qua giá tr ca f ti k mc ni suy gn nó nht nh sau.

Ký hiu z1,«,zk là k im trong T gn x nht (vi d(u,v ) là khong cách ca

hai im u,v bt k trong D ã cho), khi ó )( xN xác nh nh sau:

01

( )n

j j

j

x xN V V!

! § (2)



33

Trong ó i V c xác nh tng bình phng sai s trên tâp im z 1,«,zk

t cc tiu.

Tc là: 2

2

01 1 1

1 1( ) ( ) ( )

2 2

k k ni i i i

j j

i i j

z f z z f z N V V

! ! !

¨ ¸7 ! ! © ¹

ª º§ § § nh nht, vi . Ta

tìm các h s i V (ph thuc x) nh h phng trình:

Tc là h

(3)

Và

(4)

Gii h (3,4), vi mi x ta xác nh c b tng ng xác

nh ( ) xN theo (2).

3.3 Ý TNG VÀ PHNG PHÁP GII QUYT BÀI TOÁN NI SUY XP

X VI D NHIU NHIU

Vi vic hun luyn trên các mc cách u, thut toán lp mt pha HDH hahn có th áp dng nhiu vào các ng dng c th, òi hi thi gian hun luyn nhanh

trong các lnh vc nh ha máy tính, nhn dng mu «

tn dng ti a các u im và tng phm vi áp dng, Hoàng Xuân Hun ã

a ra ý tng ng dng thut toán HDH-1 trong vic quyt bài toán ni suy hàm

nhiu bin có nhiu trng, và các mc ni suy không cách u.

Bn cht ca phng pháp này là :

Bc 1 : Da trên b d liu ban u vi các mc ni suy không cách u và

giá tr o c ti mi mc b nhiu trng, bng phng pháp hi quy, ta to ra mt bd liu mi vi các mc ni suy là các nút cách u trên 1 li d liu xác nh trc

trong min giá tr ca các mc ni suy ban u. Giá tr o c ti mi mc cách u

mi ã c kh nhiu.

Bc 2: Sau khi có b d liu mi gm các mc ni suy cách u và giá tr u

ra ã c kh nhiu, dùng thut toán lp HDH mt pha hun luyn mng RBF trên



34

b d liu mi này, ta c 1 mng va có kh nng ni suy xp x hàm, va kh

c nhiu.

Hình 15 Th hin li cách trên c s min giá tr ca các mc ban u

Hình trên th hin trong trng hp d liu ni suy có 2 chiu, li các mc ni

suy mi (các hình tròn) c xây dng da trên min giá tr ca các mc ni suy c

(hình tam giác. Giá tr ti mi mc ni suy cách u (hình tròn) s c tính bng cách

hi quy da trên các giá tr o c ti k mc c (hình tam giác) gn nó nht. Mng

RBF s c hun luyn bng thut toán HDH-1 da trên b d liu gm u vào làcác mc ni suy mi, cách u (các hình tròn) và giá tr ã c kh nhiu ti mi

mc.



35

C HNG 4

XÂY DNG PHN MM MÔ PHNG


y Lp trình sinh nhiu trng theo phân phi chun

y Lp trình gii bài toán hi quy tuyn tính kNN

y Tng quan phn mm

Các mô t lp trình trong chng này s nêu ra các phng án lp trình gii quyt

các bài toán nh ã cp trên, c th là cách sinh nhiu trng theo phân phi chun

và lp trình gii bài toán hi quy tuyn tính kNN.

4.1 LP TRÌNH SINH NHIU TRNG THEO PHÂN PHI CHUN

xây dng phân phi chun t hàm phân phi u rand() ca C++, tôi ã da

theo phng pháp BoxMuller (xem chi tit ti [9]) c trình bày di ây :

4.1.1 Phng pháp Box-Muller

T mt tính cht ca phân phi Gauss : ³ N u X N ( ) và a,b l à các s th c

thì )´

Ta có th tìm ra dãy X N ( ) vi bt k t dãy Y N (0,1) bi công thc :

Phng pháp Box-Muller cho phép ta sinh ra 1 dãy phân phi chun N ( ) t ócó th chun qua dãy phân phi chun N ( ) bt k. Phng pháp này c trình

bày nh sau :

Phân phi N (0 ) , theo nh ngha, c biu din di dng hàm phân phi xác sut:

Nh vy, ly ra 1 cp X=x, Y=y 2 dãy phân phi chun tng ng hàm mt

xác sut s là :

Ta t

Ta s tìm cách sinh dãy R và t ó sinh dãy X, Y



36

T «

do ó s c sinh theo phân phi u trong min hay có th vit di dng

vi c phân phi u trong min . sinh r, t «. Ta nh ngha hàm U(R) tính xác sut sinh cp (x,y) sao cho

là :

t , ta có : ; vi mi p ta s có 1 bán kính R X,Y là

ta ca các im nm trong hình tròn bán kính R

Khi này p s có giá tr phân b u, t , ; cng có giá tr phân b u,

t ây ta có th xây dng c 2 dãy phân b chun c lp :

4.1.2 Sinh nhiu trng t hàm rand() trong C++

Nh vy, vi vic dùng hàm rand() trong C++ to ra 2 dãy phân phi u, ta có

th tính c 2 dãy phân phi chun N(0,1), mi phn t ca dãy nhân vi tham s phng sai ri tr i mt khong bng sai s trung bình gia tng ca chúng vi k

vng, ta c dãy s th hin nhiu trng vi k vng bng 0 và phng sai theo thit

lp ban u.

4.2 LP TRÌNH GII H PHNG TRÌNH CA BÀI TOÁN HI QUY

TUYN TÍNH K NN

T h (3),(4) ca 3.2.2 :

(3)

Và

(4)



37

gii h này, ta a chúng v di dng phép nhân ma trn.

t P là ma trn vecto 1 x (n+1) :

Z là ma trn ; coi = 1 1

Y là ma trn

Khi này, (3) và (4) tng ng vi :

(Z.P-Y) =

Tng ng vi Z T.Z.P = ZT.Y

t A=ZT.Z ; B = ZT.Y ta có :

A.P=B

ây chính là h phng trình tuyn tính vi P là ma trn vecto cn tìm, vì A là ma trn

vuông, ta ch vic dùng phng pháp Crammer gii :

=

Vi Ai là ma trn A vi ct th i c thay bi ma trn vecto B.

4.3 GII THIU PHN MM XP X NI SUY VI D LIU NHIU

4.3.1 Tng quan phn mm

ây là phn mm xây dng và hun luyn mng nron RBF ni suy xp x hàm

nhiu bin t d liu nhiu. Tôi chn lp trình bng ngôn ng C++, trên IDE Visual

C++ 2010 Release Candidate, Framework .NET . Sn phm c dch ra di dng

Windows Form, chy trên h iu hành Windows vi iu kin cài t Microsoft

.NET Framework version 2.0 Redistributable Package, tên file là dotnetfx.exe, dung

lng 22MB ; có th ti min phí a ch:



38

http://www.microsoft.com/downloads/details.aspx?FamilyID=0856eacb-4362-4b0d-8edd-aab15c5e04f5&displaylang=en 4.3.2 T chc d liu

Các mc ni suy c th hin di dng các mng s thc. Các giá tr ,

vì trong khóa lun này ch xét trng hp u ra 1 chiu, nên c cho di dng 1 sthc.

Tôi lp trình theo cách hng i tng, các i tng quan trng c vit

thành tng lp t trong các file header d dàng chnh sa hoc trao i vi nhng

ngi quan tâm, gm :



39

y Class mangnoron (mô phng mng nron RBF)

y Class bosinhphanphoichuan (mô phng máy sinh phân phi chun

Gauss)

y Class hambk (mô phng hàm bán kính, các class này c dùng

trong class mangnoron) y Class matran (mô phng ma trn, dùng cho vic tính nh thc)

y Class maytinh (mô phng hàm s t 1 xâu nhp vào)

Phng pháp kNN-HDH và các thut toán cu thành nên nó là HDH-1 và

kNN u c vit di dng phng thc ca class mangnoron.

gim bt yêu cu b nh ca chng trình, 1 s bc có tính quy hay

phi khai báo bin nhiu ln c n gin hóa, ví d nh vic tính chun

Mahalanobis ti thut toán HDH-1. Thay vì khi to ma trn A

ri tính

ta ch vic tính .

4.3.3 Giao din và chc nng

Mc dù là bn Demo, phn mm này c thit k tin cho c vic nghiêncu ln ng dng thc t. Phn mm có chc nng chính

y Nhp d liu (có nhiu trng) theo 2 cách

o Th công

o Nhp t file input

y Xut các d liu mô t mng nron RBF ã hun luyn ra file output

y a ra sai s hun luyn trên giao din

Giao din ca chng trình gm 2 Tab : Tab µNhp theo file¶ và Tab µT nhp¶;

mi Tab th hin mt cách nhp d liu. Ngi dùng tùy theo vic mun nhp d liutheo kiu nào mà chn 1 trong 2 Tab. Sau ây tôi xin c gii thiu giao din và

chc nng ca phn mm theo 2 Tab này.

4.3.3.1 Tab ³Nhp d liu theo file´

nhp d liu theo file, ta chn Tab 1 µNhp theo file¶, và có giao din di

ây



40

Hình 16 Giao din nhp d liu theo file

Giao din này n gin, ngoài các TextBox,Combo Box nhp các thams hun luyn ca thuât toán kNN-HDH nh hình trên, phn nhp d liu gmcó 3 button, 2 button chn file input, output nh ã ghi trên nhãn, 1 button³Start´ bt u vic hun luyn.File input là 1 file txt gm các s thc c sp xp theo quy c :

y Dòng u tiên là n ± s chiu ca các mc ni suyy Dòng th hai là m ± s các mc ni suyy Dòng th i+2, ( ) có (n+1) s thc tng ng vi các s

(ti dòng th i+2) th hin 1 mc ni suy n chiu và giátr o c ti mc ó

File output cng là 1 file txt bao gm các d liu mô t mng RBF sau khihun luyn, c sp xp nh sau:

y Dòng th nht lày Các dòng tip theo, c 3 dòng mt c dùng mô t 1 hàm

bán kính. C th là vio Dòng 3*k+2 gm n s thc tng ng vi các s

vi là tâm ca hàm bán kính th k o Dòng 3*k+3 là tham s rng ca hàm bán kính th k o Dòng 3*k+4 là h s

Mi khi nhn button µStart¶, phn mm s ly d liu t file input làm bd liu hun luyn ri hun luyn mng nron RBF theo b d liu này, sau ótruyn các d liu s mô t mng RBF ra file output.



41

4.3.3.2 Tab ³T nhp´

nhp d liu theo cách th công, ta chn Tab µT nhp¶, giao din nh di

ây

Hình 17 Giao din nhp d liu th công

Vì s lng các mc ni suy ln, cho nên Tab này thay vì nhp tng mc,ngi dùng s chn min giá tr cho các mc ni suy. (Nu mun nhp chi tit cácmc ni suy, ngi dùng có th chn cách nhp theo file s c trình bày nh trên).

C th là ngi dùng s chn s chiu n. Vi mi n c chn thì các label³chiu 1´, ³chiu 2´ « hin dn ra khi n tng và n bt khi n gim. Cùng vi ó là cáctextbox ngi dùng nhp giá tr max và min ca tng chiu cng hin và n ra theo,ngi dùng s có th to min giá tr cho các mc ni suy bng cách này. Chngtrình s to ra các mc ni suy ngu nhiên nm trong min ó. S mc to ngu nhiênmc nh là 100, ngi dùng có th t nhp vào ti TextBox ³s mc ngu nhiên´.

Sau khi có các mc ni suy ri, giá tr o c ti các mc ni suy s bng giátr hàm s cn ni suy xp x (nhp TextBox ³biu thc´) cng vi 1 sai s csinh t dãy phân phi chun (có k vng mc nh =0 vì là nhiu trng) và phng saic in TextBox ³phng sai´ (mc nh là 0,25).



42

Sau khi xây dng xong b d liu hun luyn, phn mm s hun lu yn mngRBF theo thuât toán kNN-HDH vi các tham s ã c ngi dùng in vào giaodin nh trên.

Button ³Chn file output´ c dùng nu ngi dùng mun xut d liu mô tmng RBF sau hun luyn ra file. Th t d liu xut ra file ging nh mô t ã nêu 4.3.2.1

Vì giao din này c làm vi mc ích giúp ngi dùng d dàng kim chngcác kt qu thc nghim, nên sau khi hun luyn mng RBF xong, sai s trung bình ticác mc hun luyn s c ly trung bình cng ca tng bình phng và kt quc a ra TextBox ³TB cng bình phng sai s´ nh trên. Ngoài ra, checkBoxHeuristic cng s c ngi dùng tích vào nu mun áp dng heuristic ³n gian´ khithí nghim.



43

C HNG 5:

K T QU THÍ NGHIM

Ni dung chng này bao gm:

y Thí nghim thay i kích thc li

y Thí nghim v vic chn k

y Thí nghim khi tng s chiu

y So sánh hiu qu vi thut toán khác

làm ni bt các c im ca phng pháp này, tôi s thit lp mt module

thc hin 1 heuristic, tm gi là ³n gian´ gi thit rng phng pháp kNN là

hoàn ho, va hi quy va kh nhiu vi sai s bng 0. mô phng heuristic này,

lnh ³n gian´ s c vit trong phn mm, và khi kích hot, thì phn mm, khi tínhgiá tr ni suy yi ti mi nút li xi ,thay vì dùng phng pháp kNN tính ra hàm

ri gán , thì ta s dùng ngay hàm s cn ni suy xp x gán giá tr

5.1 THÍ NGHIM V VIC THAY I K ÍCH THC LI

Vì mng RBF s c hun luyn không phi trên d liu ngu nhiên ban u

mà là trên li d liu cách u c thit lp sau khi hi quy t d liu ban u, chonên mc dù thut toán HDH-1 có tc tính toán nhanh nhng vn tn ti nghi ng

rng sai s hun luyn có th ln, da vào tính cht ca thut toán HDH-1 pha trình

bày cui chng 2 rng li d liu càng dày thì xp x càng tt dn n quan ngi

rng trong phng pháp này ta phi thit lp li d liu mi rt dày c mi có th

cho sai s chp nhn c. Thí nghim di ây cho ra kt qu khá bt ng v kích

thc hp lý ca li d liu.

Hàm s c dùng làm thí nghim ây là hàm

Các hàm này c ly t thí nghim ca [10] tin so sánh ti phn sau.



44

D liu ban u gm có các mc ni suy phân b ngu nhiên trên min giá tr

u vào D : ; ta s th c 2 trng hp s mc ni suy m=100 và

m=200

Kt qu o ti các mc này bng giá tr hàm s thc cng vi sai s (nhiu

trng). Dãy các sai s c phân b theo phân phi chun có phng sai là 0.25.Bng di ây so sánh sai s ca phng pháp này khi khi to li d liu

các kích c khác nhau, và 2 trng hp dùng và không dùng heuristic . Kích thc

li d liu mi ln tng c tng gp ôi mi chiu, s mc cách u ca li to

sau nhiu gp 4 ln s mc cách u ca li to ngay trc nó.

Hình 18 Sai s khi chn các kích c khác nhau ca li d liu cho b d liu 100 mc ngu nhiên, không

áp dng heuristic ³n gian´



45

Hình 19 Sai s khi chn các kích c khác nhau ca li d liu cho b d liu 200 mc ngu nhiên, không

áp dng heuristic ³n gian´

Hình 20 Sai s khi áp dng các kích c khác nhau ca li d liu cho b d liu ngu nhiên 100 mc, có

heuristic ³n gian´



46

Hình 21 Sai s khi chn các kích c khác ca li d liu cho b d liu 200 mc ngu nhi ên, có áp dng

heuristic ³n gian´

Ta thy rng dù mi ln thit lp s nút li tng gp 4 ln so vi ln thiêt lp

trc, nhng sai s tng quát không gim nhiu. Th vi mt s hàm s khác, ta u

thy hin tng rng mt li d liu quá tha thì s cho sai s ln, tuy nhiên khi

cho mt ó dày c lên thì ch hiu qu ln 1 khong nht nh, li d liu dày

c n mt mc nào ó, thì khi tip tc làm dày c hn thì sai s không gim i bao

nhiêu so vi s gia tng s mc cách u cn hun luyn.c bit, sai s khi t mt nút li mc th 2 (10 x 10 vi m=100) hay

(14 x 14 vi m=200) tt hn nhiu khi t mc th nht, và không ti h n bao nhiêu

vi các mc k tip, mc dù dày c tng u lên 4 ln mi mc. Chú ý rng s nút

li ca li này xp x vi m mc ni suy ca b d liu ban u.

Nhn xét :

Thí nghim này ã cho thy li d liu mi cn khi to không phi quá dày

c nh ã lo ngi ban u. Thc nghim ã cho thy ch cn s nút li d liu xp x

s mc ni suy ban u ã có th cho hiu qu hun luyn nói chung là hp lý. Tùythuc vào ng dng c th mà có th tùy chnh kích thc li d liu, ví d nh tng

kích thc làm gim i sai s, trong khi thi gian hun luyn vn nm trong khong

cho phép, nh c im hun luyn rt nhanh ca phng pháp này.

Ta thy rõ s khác nhau khi làm thí nghim gia vic áp dng và không áp

dng heuristic, iu này cho thy tm nh hng ln ca bc hi quy kNN.



47

5.2 THÍ NGHIM V VIC CHN K

Trong phng pháp này, vic chn k khi hi quy tuyn tính kNN th nào cho

tt c coi là rt quan trng. Vì phng pháp kNN không ch hi quy mà còn làm

nhim v kh nhiu. Nu hi quy không tt s to ra li d liu mà giá tr ti mi nútli khác xa so vi giá tr thc c kh nhiu và t ó làm cho vic ni suy xp x

kém i nhiu. Vic chn k trong phng pháp kNN còn là mt bài toán m, ngi ta

mi ch a ra c khuyn ngh là nên chn k ln hn s chiu n.

Thí nghim di ây a ra mt vài kt lun thú v v vic chn k. Ti thí

nghim này, ta xét 2 hàm s

D thy 2 hàm này t l vi nhau, vì ni dung thí nghim này là xét cách chn k

da vào ln min giá tr ca hàm. Tham s m c chn là 200, theo nh kt qu

thí nghim 5.1, ta chn li d liu có kích thc 14 x 14, xét ln lt các trng

hp k=4,6,8,10,12,14,16. Kt qu mi ln th nghim c so sánh kèm vi kt qu

khi kích hot heuristic ³n gian´

Hình 22 Bng so sánh sai s ca phng pháp kNN-HDH khi áp dng cho hàm y 1 vi các cách chn k

khác nhau



48

Hình 23 Bng so sánh sai s ca phng pháp kNN-HDH khi áp dng cho hàm y 2 vi các cách chn k

khác nhau

Ti ây, ta thy hàm y2 t giá tr tt nht vi k=6 và khi tng dn k thì sai s

ti hn nhiu. Trong khi hàm y1 thì càng tng k càng tt.iu này có th gii thích nh sau : Sai s chênh lch thi th vi nhng k khác

nhau là do vi nhng k khác nhau thì hiu qu ca phng pháp kNN khác nhau. Ta

có th thy khi dùng heuristic thì sai s không i.

c im ca phng pháp hi quy kNN là khi k càng ln thì hiu qu kh

nhiu càng tt, nhng ng thi, vì phi hi quy các nút quá xa cho nên hiu qu hi

quy cng b kém i. Ngc li khi k càng nh thì hiu qu hi quy càng tt (tr trng

hp k nh quá không hi quy thì sai s s tng vt nh ã thy trong biu ) ,

tuy nhiên khi gim k thì kh nng kh nhiu trng li kém i vì phi ni suy vi ít mc

s không trung hòa c nhiu trng.

Nhn xét :

Giá tr k tt nht s phi cân bng gia hiu qu ca hi quy và hiu qu ca

kh nhiu, tùy theo các bài toán c th chn k ln hay k nh. Xét ví d trên, ta thy

vì min giá tr ca y1 nh hn ca y2 cho nên nhiu có nh hng ln hn n kt qu



49

hi quy, vì th công vic kh nhiu phi c t u tiên hn so vi bài toán vi hàm

y2, do ó ây k ln hn thì tt. Biu trên cho thy k càng ln càng tt nhng khi

xét n k=30, vì t quá nng nhim v kh nhiu so vi hi quy cho nên sai s s li

tng lên 0,03

Ngc li, bài toán vi hàm y2 vì t l min giá tr ca nó vi nhiu trng lnhn so vi bài toán hàm y1 cho nên u tiên kh nhiu không c t nng nh bài

toán vi hàm y1, vì th chn k nh hn so vi trng hp vi hàm y1 s cho hiu qu

tt nht.

5.3 THÍ NGHIM K HI TNG S CHIU

Mt phn rt quan trng ca phng pháp này là hi quy kNN, nó va có vai

trò hi quy ra các mc thut toán lp 1 pha HDH da vào hun luyn, va có vai

trò kh nhiu, nu hi quy kNN càng tt thì sai s s gim i rt nhiu, mc tt

nht mà ta có th mong i là nó hi quy chính xác hàm s cn ni suy xp x ti

nhng nút li. (Tc là khi heuristic thành hin thc)

Xét v s chiu ca các vecto u vào, ta thy : Do tính cht ca phng pháp

kNN. Vic chn k thng c khuyn ngh là nên chn k>n, sau khi tha mãn iu

kin k>n, thì ³k hp lý´ nên thp hi quy cho sai s nh. Vì vy, khi s chiu n

tng, thì ³k hp lý´ cng s tng theo.Mt khác, khi k càng tng thì vic kh nhiu li

càng tt. Vì vy, vi cùng 1 di nhiu, nu s chiu càng tng thì vic kh nhiu càng

tt, qua ó nâng cao tính hiu qu ca phng pháp kNN-HDH

Trong quá trình thí nghim di ây, khi th vi các hàm s càng nhiu bin,thì sai s sau khi ã chn k thích hp, li càng gn vi sai s khi áp dng heuristic ³n

gian´, c th kt qu nh sau :

Ta th nghim vi 5 hàm s

y y y y

y



50

Kt qu thc nghim nh sau :Hình 24 : Bng so sánh sai s ca phng pháp kNN-HDH khi dùng và không dùng Heuristic, vi s

chiu tng dnu1 (1 chiu) u2 (2 chiu) u3 (2 chiu) u4 (3 chiu) u5 (4 chiu)

K=16 Heuristic K=6 Heuristic K=5 Heuristic K=6 Heuristic K=8 Heuristic

0.0065 0.0001 0.0807 0.0232 0.1302 0.0752 0.4576 0.3333 0.8162 0.6312

Ti ây ta thy vi s chiu tng dn, sai s khi không dùng heuristic càng lúc tin lili gn sai s khi dùng heuristic, tc là vic hi quy kNN càng hiu qu khi ta tng schiu ca các mc ni suy, úng nh nhn nh trên.

.

5.4 SO SÁNH HIU QU VI PHNG PHÁP K HÁC

Chng này tôi xin c so sánh hiu qu ca phng pháp kNN-HDH vi

mt phng pháp ni suy xp x hàm nhiu bin vi d liu nhiu ca tác gi

Tomohiro Ando ã c công b trên tp chí Journ al of Statistical Planning and

Inference nm 2008. [10]Ti bài báo này, tác gi dùng 3 phng pháp là GIC, NIC, MIC th vi các

hàm s u2, u3 nh trên, min giá tr cng là . Ta s so sánh

kt qu ca phng pháp kNN-HDH vi phng pháp tt nht ca tác già là phng

pháp GIC, trong c 2 trng hp s mc ni suy ban u là m=100 và m=200 .

Vì thi gian có hn, cng vi vic thut toán GIC cài t rt phc tp nên trong

khóa lun này tôi cha cài t thut toán GIC mà ch ly b d liu và kt qu ca tác

gi so sánh vi phng pháp kNN-HDH

Hình 25: Bng so sánh kt qu vi phng pháp GIC

m=100

GIC 0.38873 1.18925

kNN-HDH 0.1175 0.4599

m=200

GIC 0.14857 0.34603kNN-HDH 0.0892 0.2846

Nhn xét :



51

Vi kt qu này, ta thy phng pháp kNN-HDH cho sai s tt hn phng

pháp GIC, mc dù tác gi Tomohiro Ando mi ch th vi các hàm 2 bin, cha th

vi các hàm nhiu bin hn vn là u im ca phng pháp kNN-HDH.



52

C HNG 6:

TNG K T VÀ PHNG HNG PHÁT TRIN

Ni dung chng này bao gm:y Tng kt

y Phung hng phát trin ca tài

6.1 Tng kt

n ây tôi ã hoàn thành khóa lun tt nghip vi tài ³ Hun luyn mng

nron RBF vi mc cách u và ng dng´ vi mc ích mô phng phng pháp

ng dng thut toán HDH-1 vào vic xây dng h thng ni suy xp x hàm nhiu bin

vi d liu nhiu và nghiên cu thc nghim nhm tìm ra các c im, lý gii và ara các cách hoàn thin phng pháp này.

Nhng công vic ã làm c :

y Tìm hiu kin trúc mng RBF, c im mng RBF, t ó hiu c các

phng pháp hun luyn mng RBF, ây là thut toán HDH -2 và HDH-1.

y Tìm hiu v nhiu trng và phng pháp sinh nhiu trng

y Tìm hiu v phng pháp hi quy tuyn tính kNN

y Hiu c ý tng v phng pháp kNN-HDH và lp trình mô phng thành

công, phn mm tin cho nghiên cu ln ng dngy Phát hin ra c các c im c bn, quan trng ca phng pháp kNN-HDH,

a ra các ci tin ln, cho thy hiu qu cao ca phng pháp này. ó là :

o Li d liu ch cn có s nút xp x vi s mc ni suy ca b d liu

ban u

o K c chn vi mc ích cân bng gia tính kh nhiu và tính hi quy,

c th là da trên t l gia min giá tr ca hàm s và nhiu trng.

o Khi thc nghim nên áp dng phng pháp heuristic ³n gian´, nhm

tách riêng 2 bc hi quy tuyn tính kNN và thut toán HDH-1. Nh th

s làm ni bt c im ca phng pháp này

o Khi s chiu càng ln, hiu qu càng tt vì kh nhiu tt hn trong khi vn

ti u sai s hi quy.

o Các kt qu thí nghim u c gii thích khp vi nn tng lý thuyt.



53

6.2 Phng hng phát trin ca tài

Do ây là phng pháp hoàn toàn mi, trong khi thi gian nghiên cu li có

hn nên còn mt s iu tôi cha i sâu hn c. ây cng là nhng iu có th

dùng làm phng hng phát trin cho tài. ó là :y Cn thêm nhiu mô phng các phng pháp khác so sánh vi phng pháp

kNN-HDH chng minh u im ca nó, c bit là tc hun luyn và

trng hp nhiu chiu.

y Áp dng phng pháp kNN-HDH vào ng dng c th nh : X lý nh, nhn

dng ging nói «.



TÀI LIU THAM K HO[1] Hoang Xuan Huan, Dang Thi Thu Hien and Huu Tue Huynh, A Novel Efficient

Algorithm for Training Interpolation Radial Basis Function Networks, Signal

Processing 87 ,2708 ± 2717, 2007.

[2] Hoang Xuan Huan, Dang Thi Thu Hien and Huynh Huu Tue, An efficientalgorithm for training interpolation RBF networks with equally spaced nodes,submitted to IEEE Transactions on Neural Networks

[3] T.M.Mitchell, Machine learning,McGraw-Hill, 1997

[4] J. Shlens, A Tutorial on Principal Component Analysis, April 22, 2009

[5] D.S. Broomhead and D. Lowe.Multivariable functional interpolation and adaptive

networks. Complex Systems, vol. 2, 321-355, 1988.

[6] ng Th Thu Hin, Lun án tin s công ngh thông tin, chuyên ngành Khoa hc

máy tính, mã s : 62.48.0101, i hc Công ngh, HQG Hà Ni, 2009

[7]WilliamM.K. Trochim, Measurement Error http://www.socialresearchmethods.net/kb/measerr.php

[8]Wikipedia®, Normal distribution http://en.wikipedia.org/wiki/Normal_distribution

[9]G.E.P Box and Mervin E. Muller, A Note on the Generation of Random Normal

Deviates, Ann.Math. Statist. Volume 29, Number 2 (1958), 610-611.

[10]Tomohiro Ando, Sadanori Konishi and Seiya Imoto, Nonlinear regression

modeling via regularized radial basis function network, Journal of Statical Planning

and Inference, 2008, trang 16-18

Documents

Le Xuan Minh Hoang_K51KHMT_Khoa Luan Tot Nghiep Dai Hoc