Ch­¬ng­4 Nghiªn cøu c¬ chÕ lµm viÖc cña

bé n·o, m« H×nh m¹ng n¬ron Nh©n t¹o

4.1. Nh÷ng­kh¸i niÖm c¬ b¶n4.2. M« h×nh n¬ron sinh häc4.3. M« h×nh n¬ron nh©n t¹o4.4. C¸c luËt häc c¬ b¶n

NextBack Néi­dung­C4

4.1. Nhưng khai niêm cơ ban 4.1.1. Lich sư nghiên cưu bô nao con ngươiQua trinh nghiên cưu chia thanh bôn giai đoan + Giai đoan môt: Giai đoan môt co thê tinh tư nghiên cưu cua William 1890 vê tâm ly hoc vơi sư liên kêt cac nơron thân kinh. Năm 1940 Mc.Culloch va Pitts đa cho biêt: nơron co thê đươc mô hinh hoa như thiêt bi ngương (giơi han) đê thưc hiên cac phep tinh lôgic. Cung thơi gian đo Wiener đa xet cac môi liên quan giưa nguyên ly phan hôi va chưc năng bô nao.

NextBack C4­­T1

+ Giai đoan hai: Giai đoan hai vao nhưng năm 1960, gân như đông thơi môt sô mô hinh nơron hoan hao hơn đa đươc đưa ra, đo la mô hinh:

- Perceptron cua Rosenblatt.- Adaline cua Widrow.- Ma trân hoc cua Steinbuck.

NextBack C4­­T1

Trong đo, mô hinh nơron Perceptron rât đươc quan tâm vi nguyên ly đơn gian, nhưng no cung co han chê vi như Minsky va Papert đa chưng minh no không dung đươc cho cac ham lôgic phưc. Con Adaline la mô hinh tuyên tinh, tư chinh, đươc dung rông rai trong điêu khiên thich nghi, tach nhiêu, mô hinh Adaline vân phat triên va ưng dung cho đên nay.

NextBack C4­­T1

+ Giai đoan ba: Giai đoan ba co thê tinh la khoang đâu nhưng năm 80. Nhưng đong gop lơn cho mang nơron trong giai đoan nay phai kê đên Grossberg, Kohonen, Rumelhart va Hopfield. Đong gop lơn cua Hopfield gôm hai mang phan hôi: mang rơi rac năm 1982 va mang liên tuc năm 1984. Dư đoan cua Hopfield đa đươc Rumelhart, Hinton va Williams đê xuât thuât toan sai sô truyên ngươc nôi tiêng đê huân luyên mang nơron nhiêu lơp nhăm giai bai toan ma mang khac không thưc hiên đươc.

NextBack C4­­T1

+ Giai đoan bôn: Giai đoan bôn la tư năm 1987 đên nay, hang năm thê giơi đêu mơ hôi nghi toan câu chuyên nganh nơron IJCNN (International Joint Conference on Neural Networks). Cac công trinh nghiên cưu đê hoan thiên thêm ly thuyêt vê mang nơron như: mơ rông, hoan thiên cac lơp mang, phân tich ôn đinh, kêt hơp ly thuyêt mang nơron vơi cac ly thuyêt khac cung không ngưng đươc đưa ra.

NextBack C4­­T1

4.1.2. Nguyên nhân thuc đây nghiên cưu bô nao con ngươi.

Mô phong sinh hoc, đăc biêt la mô phong nơron thân kinh la môt ươc muôn tư lâu cua nhân loai. Vơi khoang 1025 nơron ơ nao ngươi, môi nơron co thê nhân hang van tin hiêu tư cac khơp thân kinh va đươc coi la môt cơ chê sinh hoc phưc tap nhât. Nao ngươi co kha năng giai quyêt nhưng vân đê như: nghe, nhin, noi, hôi ưc thông tin, phân biêt cac mâu măc du dư kiên bi meo mo, thiêu hut.

NextBack C4­­T1

Nao thưc hiên nhưng nhiêm vu như vây bơi co nhưng phân tư tinh goi la nơron. Nao phân bô viêc xư ly thông tin cho hang ty nơron co liên quan, điêu khiên liên lac giưa cac nơron. Nơron không ngưng nhân va truyên thông tin lân nhau. Cơ chê hoat đông cua nơron bao gôm: Tư liên kêt, tông quat hoa va tư tô chưc. Cac nơron liên kêt vơi nhau thanh mang, môi mang gôm hang van cac phân tư nơron khac nhau, môi phân tư nơron co kha năng liên kêt vơi hang ngan cac nơron khac.

NextBack C4­­T1

Môt sô kêt qua so sanh

NextBack C4­­T1

May tinh Bô nao

Đơn vi tinh môt bô CPU vơi 105 mach logic lam viêc theo chê đô tuân tư

mang trên 100 ty nơron lam viêc song song

Thơi gian xư ly

10 8 giây 10-3 giây

Môt sô kêt luânMôt nơron lam đươc nhưng chưc năng đơn

gian hơn CPU, vơi tôc đô châm hơn rât nhiêu. Nhưng ca bô nao thi lam đươc môt sô viêc hơn hăn may tinh nhât la cac bai toan nhân dang (anh, vât thê, tiêng noi...), xư ly thông tin co nhiêu, không đây đu, không chăc chăn, mơ (la nhưng tinh chât ta đoi hoi ơ may tinh thê hê mơi).

Vây tinh ưu viêt cua bô nao la ơ chô:

NextBack C4­­T1

1- Co sô lương lơn nơron đươc nôi thanh mang liên kêt chăt che vơi nhau. Tưc la, ơ đây thông tin cân thiêt cho quyêt đinh không nhưng đươc lây ra tư ban thân cac tin hiêu vao (lơn hay nho) ma con khai thac triêt đê môi liên hê giưa chung.

2- Xư ly tin hiêu song song se giup mang nơron nhân tao giai quyêt vân đê tinh toan theo thơi gian thưc dê dang, môt trơ ngai ma may tinh cu công phương phap tinh song song kho co thê vươt qua.

NextBack C4­­T1

4.2. Mô hinh nơron sinh hoc4.2.1. Mô hinh môt nơron sinh vât

Mô hinh nơron sinh vât như hinh 4.1Trong đo: + Cac khơp: co nhiêu loai khơp khac. Môi loai khơp lai can cac loai xung khac nhau băng nhưng lưc khac nhau. Nên môt khơp chi cho đi qua môt sô loai xung nhât đinh. Môi lân môt xung đi qua sưc can cua khơp giam đi môt it lam cho lân sau dê dang hơn.

NextBack C4­­T2

NextBack C4­­T2

Hinh 4.1. Nơron sinh vât

Truyên xung tin hiêu: xung điên phat ra tư nơron trươc khơp. Nêu lưc can cua khơp nho xung truyên qua. Cac nhanh cua nơron nhân va truyên vê thân (soma) gây ra qua trinh hoa hoc, lam tăng hoăc giam điên thê bên trong cua nơron nhân. Nêu điên thê lơn hơn ngương nơron phat hoa (fire), môt xung se đươc gưi ra sơi truc (axon) qua cac sơi nhanh tơi chô kêt thuc - goi la khơp - đê truyên tiêp đên cac nơron sau khơp. Cac khơp cho xung đi qua tac đông lam tăng kha năng phat hoa cua nơron nhân goi la khơp ưc chê.

NextBack C4­­T2

Qua trinh hoc: Khi co xung kich thich tư bên ngoai tơi, cac khơp can lai khac nhau, cho đi qua hoăc không va se kich thich hay ưc chê cac nơron tiêp theo. Do đo hinh thanh môt con đương dân truyên xung nhât đinh. Hoc la lam cho con đương nay đươc lăp lai nhiêu lân, nên sưc can cac khơp nho dân, tao điêu kiên cho cac lân sau lăp lai dê dang hơn.

NextBack C4­­T2

Co thê noi: toan bô kiên thưc, kinh nghiêm cua môt ngươi tich luy đươc va lưu giư trong đâu chinh la hê thông cac sưc can cua cac khơp (trong mang nơron nhân tao ta lam viêc vơi cac trong sô Wij - biêu diên môi liên kêt giưa cac nơron - tưc la đai lương co y nghia ngươc lai vơi sưc can cua khơp).

NextBack C4­­T2

4.2.2. Mang nơron sinh vâtNhưng nơron liên kêt vơi nhau tao thanh

mang. Tâp cac liên kêt thương đươc xăp sêp thanh ma trân liên kêt. Đăc tinh cua hê đươc xac đinh băng câu truc va đô bên vưng cua nhưng liên kêt đo. Co môt sô cach kêt hơp cac phân tư nơron thanh mang. Thông thương, cac phân tư tô chưc thanh nhom hoăc lơp (layer). Ta co:

NextBack C4­­T2

+ Mang nơron môt lơp: Mang nơron môt lơp la tâp hơp cac phân tư nơron co đâu vao va đâu ra trên môi môt phân tư. Nêu mang nơron nôi cac đâu ra cua phân nay vơi đâu vao cua phân tư kia goi la mang tư liên kêt (autoassociative).

+ Mang nơron hai lơp: Mang nơron hai lơp gôm môt lơp đâu vao va môt lơp đâu ra riêng biêt.

+ Mang nơron nhiêu lơp: Mang nơron nhiêu lơp gôm môt lơp đâu vao va môt lơp đâu ra riêng biêt. Cac lơp năm giưa lơp đâu vao va lơp đâu ra goi la cac lơp ân (Hidden layers).

NextBack C4­­T2

+ Mang truyên thăng: la mang 2 hay nhiêu lơp ma qua trinh truyên tin hiêu theo môt hương.

+ Mang nơron phan hôi: nhiêu đâu ra cua cac phân tư lơp sau truyên ngươc tơi đâu vao cua lơp trươc.

+ Mang nơron tư tô chưc: la mang co kha năng sư dung nhưng kinh nghiêm qua khư đê thich ưng vơi nhưng biên đôi cua môi trương (không dư bao trươc). Loai mang nơron nay thuôc nhom hê hoc, thich nghi không cân co tin hiêu chi đao tư ngoai.

NextBack C4­­T2

4.3. Mô hinh nơron nhân tao4.3.1. Mô hinh môt nơron nhân taoTư nhưng cơ sơ nghiên cưu vê nơron sinh vât chung ta co thê xây dưng mô hinh nơron nhân tao theo ngôn ngư va ky hiêu chung nhât như hinh 4.2.

Mô hinh môt nơron nhân tao co thê đươc câu tao tư ba thanh phân chinh đo la: Phân tông cac liên kêt đâu vao, phân đông hoc tuyên tinh H(.), phân phi tuyên không đông hoc g(.).

NextBack C4­­T3

NextBack C4­­T3

Hinh 4.2. Nơron nhân tao

b1

b2

bm

I

w

H(.) g(.)v(t) u(t) y(t)

x1

x2

xm

* Bô tông liên kêtBô tông liên kêt đâu vao phân tư nơron co

thê mô ta như sau:

(4.1)

trong đo: v(t) tông tât ca cac đâu vao mô ta toan bô

thê năng tac đông ơ thân nơron.xk(t) cac đâu vao ngoai, mô ta tin hiêu vao

tư cac khơp nơron ngoai tơi nơron hiên tai, m la sô đâu vao, k = 1,..., m.

NextBack

I)t(xb)t(wy)t(vm

1kkk

C4­­T3

y(t) đâu ra nơron (con dung lam đâu vao phan hôi, đâu vao cho nơron khac) mô ta tin hiêu ra.bk trong liên kêt cac đâu vao ngoai, la hê sô mô ta mưc đô liên kêt giưa cac đâu vao ngoai tơi nơron hiên tai.w trong liên kêt cac đâu vao trong, la hê sô mô ta mưc đô liên kêt giưa cac nơron trong mang nơron, liên kêt phan hôi, tư liên kêt.I la ngương, xac đinh ngương kich thich hay ưc chê (hăng sô).v, w, y, x, I la sô thưc.

NextBack C4­­T3

* Phân đông hoc tuyên tinhĐâu vao cua phân đông hoc tuyên tinh la đâu ra cua bô tông liên kêt v(t). Đâu ra cua no u(t) la tin hiêu dang tương tư. Co nhiêu ham đê mô ta phân đông hoc tuyên tinh như thê hiên ơ bang 4.2. Dung toan tư Laplace mô ta ham truyên cua phân đông hoc tuyên tinh ta đươc dang:

U(s) = H(s) V(s) (4.2)Trong miên thơi gian phương trinh (4.2) co thê viêt:

(4.3)NextBack

'dt)'t(v)'tt(h)t(u

C4­­T3

Bang 4.2 Môt sô ham H(s) thương dung cho mô hinh nơron nhân tao

NextBack

s1 1

1 sT

)t(vdt)t(du

)t(v)t(udt)t(duT

H(s) 1 Exp(-sT)

Quan hê vao

rau(t) = v(t) u(t) = v(t-T)

C4­­T3

* Phân phi tuyênPhân phi tuyên la phân sư dung ham g(.) cho đâu ra y vơi đâu vao u(t):

y = g(u(t)) (4.4)Co nhiêu ham phi tuyên. Môt sô ham đươc

cho ơ bang 4.3, môt sô dang khac cung đươc sư dung. Cac nơron ơ vung thi giac co đăc tinh cua ham Sigmoid, nơron ơ khu vưc quan sat co dang ham Gauss. Môt sô dang ham mu, logarit cung đươc sư dung măc du cơ sơ sinh vât cua nhưng ham đo chưa đươc đăt ra.

NextBack C4­­T3

Bang 4.3. Môt sô ham phi tuyên thương dung trong cac mô hinh

NextBack

0unÕu00unÕu1)u(g

0unÕu10unÕu1)u(g

0unÕu1u0nÕu

1unÕu

0u1

)u(g

Tên ham Công thưc Đăc tinh

Bươc nhay

đơn vi Hard limiter(sgn)

Ham tuyên tinh

g(u) = u

Ham tuyên tinh bao hoa

C4­­T3

NextBack

1u1u1

1u

1u1

)u(g

nÕunÕunÕu

0unÕu00unÕuu)u(g

ue11)u(g

1e12)u(g u

­kh¸cî­nhÊt­Ë­gÇn­­nî

ronn0mtron1

)u(g

Ham tuyên tinh bao hoa

đôi xưng

Ham tuyên tinh dương

Ham Sigmoid đơn cưc(Unipolar Sigmoid)

­­­­­­­­­­

Ham Sigmoid lương cưc

(BipolarSigmoid)

­­­­­­­­­­

Ham canh tranh

(Competitive)

C4­­T3

4.3.2. Mang nơron nhân taoGiông như cac nơron sinh vât, cac nơron

nhân tao co thê liên kêt vơi nhau tao thanh mang. Co nhiêu cach kêt hơp cac nơron nhân tao thanh mang. Môi cach kêt hơp tao thanh môt loai lơp mang nơron nhân tao khac nhau.

+ Dưa vao sô lương lơp co trong mang nơron ta co thê phân loai thanh

Mang nơron môt lơp; Mang nơron nhiêu lơp.

NextBack C4­­T3

+ Dưa vao đương truyên tin hiêu trong mang nơron ta phân thanh

Mang nơron truyên thăng; Mang nơron phan hôi; Mang nơron tư tô chưc.

Trong môi môt lơp mang như vây co nhiêu dang mang đa đươc cac tac gia đê xuât va xây dưng vơi nhiêu đăc trưng vê kiên truc, thuât hoc va ưng dung khac nhau.

NextBack C4­­T3

4.4. Cac luât hoc cơ ban 4.4.1. Hoc la gi ?

Hoc la qua trinh xac đinh câu truc hoăc tham sô cua mang nơron. Vây ta co

+ Hoc câu truc: Xac đinh sô lơp, sô nơron trong môi lơp.

+ Hoc tham sô: xac trong wi, cac tham sô kich hoat a(.)

NextBack C4­­T4

Qua trinh hoc co thê đươc thưc hiên co hoăc không co tin hiêu đê so sanh:

+ Co tin hiêu đê so sanh: hoc co giam sat (hoc co thây giao) + Co nhưng không chi tiêt (vi du: "đung, sai”,"đươc không"): hoc tăng cương. + Không co tin hiêu đê giam sat: hoc không giam sat (hoc không thây giao).

NextBack C4­­T4

4.4.2. Dang chung cua hoc tham sôDang chung cho hoc tham sô:

Wi(t) = .r.x(t) (4.5)

trong đo : Wi(t) chênh lêch trong cân câp nhât

hê sô hoc, thê hiên tôc đô hocr tin hiêu hoc, thương la sai lêch

giưa đich va đâu rax(t) tin hiêu vao

NextBack C4­­T4

Luât hoc không giam sat cua Hebb (1949): Wi(t) = .yi.x (4.6)

trong đo: Wi(t) chênh lêch trong cân câp nhât

hê sô hoc, thê hiên tôc đô hocyi tin hiêu ra

x tin hiêu vaoLưc khơp trong nao thay đôi ti lê vơi tương

quan giưa sư phat hoa cua cac nơron trươc va sau khơp. Gân đây lai co thêm luât hoc phan Hebb (Matsuokak Kawamoto M, 1996).

NextBack C4­­T4

Vi du: Ap dung luât hoc Hebb đê câp nhât vectơ trong W = [w1, w2,w3, w4] cho môt nơron vơi 4 đâu vao X = [x1, x2, x3, x4]T theo môt tâp gôm 3 mâu sau:

, ,

NextBack

, , (1)

11,5

x0,50

(2)

0,51

x0

1,5

(3)

10

x1

0,5

C4­­T4

Chon gia tri ban đâu

, = 1.

Ta xet trương hơp nơron vơi ham tich hơp tuyên tinh, co ngương I = 0, va ham kich hoat dang ngương:

NextBack

(1)

10

w1

0

mT

j jj 1

y Sgn w x Sgn(W X)

C4­­T4

Bươc1: Tinh đâu ra vơi bô mâu vao thư nhât

Tinh chênh lêch trong cân câp nhât lân thư nhât

NextBack

(1) (1)T (1)

11,5

y sgn w x sgn 1; 0; 1; 0 sgn 1 0 0,5 00,50

sgn(0,5) 1

(1) (1) (1)

1 11,5 1,5

W y x 1 10,5 0,50 0

C4­­T4

Câp nhât trong lân thư nhât (đê tinh cho lân thư 2)

Bươc2: Tinh đâu ra vơi bô mâu vao thư hai

NextBack

(2) (1) (1)

1 1 20 1,5 1,5

W W W1 0,5 0,5

0 0 0

(2) (2)T (2)

0,51

y sgn w x sgn 2;1,5; 0,5; 00

1,5

sgn 1 1,5 0 0 sgn(0,5) 1

C4­­T4

Tinh chênh lêch trong cân câp nhât lân thư hai

Câp nhât trong lân thư hai (đê tinh cho lân thư 3)

NextBack

(2) (2) (2)

0,5 0,51 1

W y x 1 10 0

1,5 1,5

(3) (2) (2)

2 0,5 1,51,5 1 2,5

W W W0,5 0 0,50 1,5 1,5

C4­­T4

Bươc 3: Tinh đâu ra vơi bô mâu vao thư ba

Tinh chênh lêch trong cân câp nhât lân thư ba

NextBack

(3) (3)T (3)

10

y sgn w x sgn 1,5; 2,5; 0,5;1,51

0,5

sgn 1,5 0 0,5 0,75 sgn( 1,75) 1

(2) (2) (2)

1 10 0

W y x 1 ( 1)1 1

0,5 0,5

C4­­T4

Câp nhât trong lân thư ba

NextBack

(4) (3) (3)

1,5 1 2,52,5 0 2,5

W W W0,5 1 0,5

1,5 0,5 2

C4­­T4

Chương 5CAC MANG TRUYÊN THĂNG

VA HOC CO GIAM SAT

5.1. Mô hinh nơron nhân tao M-P 5.2.Cac mang truyên thăng 1 lơp 5.3. Cac mang truyên thăng nhiêu lơp

NextBack Nôi dung C5

5.1. Mô hinh nơron nhân tao M-P (Mc. Culloch, Pitts, 1943)

5.1.1.  Sơ đô

Trong đo :xj(t): Đâu vao thư j

ơ thơi điêm (t) y(t+): đâu ra cua nơron : Thơi gian xư li tin hiêu

NextBack C5­­T1

X1

a(.)f(.)

Xm

X2 y

.

.

.

Hinh 5.1. Nơron M-P

W2

Wm

W1

wj: trong nôi tư đâu vao thư j

: Ngương f(.): ham tich hơp a(.): Ham kich hoat.

5.1.2.  Phương trinh mô ta

(5.1)

(5.2)

NextBack C5­­T1

m

j jj 1

y(t ) a w x (t)

0­f­­nÕu00f­­­nÕu)( 1

fa

5.1.2.  Kha năng tinh toanBăng cach chon cac trong va ngương thich

hơp, môt nơron co thê thưc hiên đươc ba phep tinh logic cơ ban: OR, AND, NOT. Do đo môt mang tư cac nơron M-P co thê thưc hiên cac ham logic phưc tap bât ky, va co kha năng tinh toan như môt may tinh sô hiên nay. Tât nhiên ta không chi sư dung nơron M-P đê thưc hiên ba phep tinh trên va may tinh nơron không chăc se lam viêc theo nguyên ly cua may tinh cu...

NextBack C5­­T1

Chưng minh:Phep OR Đê đơn gian, ta chon: w1= w2 = ... = wm = w.

Phep OR đoi hoi cac điêu kiên sau: Nêu: x1 = 0 , x2 = 0, x3 = 0, ... xm = 0 thi y = 0

x1 = 1, x2 = 0, x3 = 0, ... xm = 0 thi y = 1

x1 = 1, x2 = 1, x3 = 0, ... xm = 0 thi y = 1

….x1 = 1, x2 = 1, x3 = 1, ... xm = 0 thi y = 1

NextBack

1 2 3 my x x x ... x

C5­­T1

Thay cac gia tri trên cua xj va y vao (5.1), (5.2) ta co hê phương trinh:

Vơi cac điêu kiên trên ta luôn chon đươc cac trong va ngương thoa man.

NextBack

0 0 0 ... 0 0 0w 0 0 ... 0 0 w 0w w 0 ... 0 0 2w 0

w w w ... w 0 mw 0

C5­­T1

Phep AND

Cân thoa man điêu kiên :Nêu x1 = 1, x2 = 1, x3 = 1, ..., xm = 1 thi y = 1

x1 = 0, x2 = 1, x3 = 1, ..., xm = 1 thi y = 0 x1 = 0, x2 = 0, x3 = 1, ..., xm = 1 thi y = 0 …

x1 = 0, x2 = 0, x3 = 0, ..., xm = 1 thi y = 0 x1 = 1, x2 = 1, x3 = 1, ..., xm = 1 thi y = 0

NextBack

1 2 3 my x x x ... x

C5­­T1

Như vây ta co:

Tư đo ta phai co:

Tư điêu kiên trên ta chon đươc w va thoa man.

NextBack

w w w ... w 0 mw 00 w w ... w 0 (m 1)w 00 0 w ... w 0 (m 2)w 0

0 0 0 ... w 0 w 0 00 0 0 ... 0 0 0

wmmw 0

w(m 1)w 0 w m m 1

m 1 00 0

C5­­T1

Phep NOT Xet vơi môt đâu vao

vây cân thoa man điêu kiên

Vơi điêu kiên trên ta luôn chon đươc w va thoa man.

Xet vơi nhiêu đâu vao Vây trươc hêt ta tinh sau đo thưc hiên .

NextBack

1y x

1

1

x 1 y 0 w 0 wx 0 y 1 0 0

th×th×­­

1 2 my x x ... x

1 2 mz x x ... x

C5­­T1

5.2.Cac mang truyên thăng 1 lơp 5.2.1. Mang Percetron 1 lơp (Rosenblatt, 1962) 5.2.1.1. Sơ đô

NextBack C5­­T2

y1e1

x2

Xm-1

xm=-1

d1

d2

e2

y2

y3

e3

+

dnyn

en

-

+-

+-

+-

x1

Hinh 5.2. Mang Percetron

Xet mang Percetron vơi m-1 đâu vao, n đâu ra. Thêm vao đâu vao xm = -1 cung vơi cac

trong W1m= 1, W2m= 2,..., Wnm= n đê biêu diên không tương minh vectơ ngương hinh 5.2.

5.2.1.2. Phương trinh mô ta

(5.3)

(5.4)

Hoăc yi = sgn(WiTx) (5.5)NextBack C5­­T2

mT

i ij j i ij 1

y a w x a(w x) d

1g(f ) sgn(f )

1

nÕu f 0nÕu f <0

5.2.1.3. Luât hoc Perception (Rosenblatt)Tin hiêu hoc r ơ đây đươc chon la sai sô

giưa đich va đâu ra: r = di - yi (5.6)

Thay vao (4.5) ta co

(5.7)

Hoăc: (5.8)

NextBack

i j i iTij i i j

i i

2 d x y dW d sgn(W X) x

0 y d

nÕunÕu

i i iTi i i

i i

2 d x y dW d sgn(W X) x

0 y d

nÕunÕu

C5­­T2

5.2.1.4. y nghiaBai toan phân lơp (tach) tuyên tinh nhơ môt

nơron Perceptron ta co thê chia cac đôi tương vơi m -1 đăc tinh: x1, x2, ... xm-1, theo gia tri cua ham g1(x) = W1

Tx (tuyên tinh đôi vơi cac biên xj) ra hai loai g1(x) 0 va g1(x) < 0.Trương hơp cac trong Wij đươc xac đinh băng tinh toan

+ Cho m = 2: Thi gi(x) = wi1x1 - i = 0 la môt điêm trên truc sô hinh 5.3.

NextBack

g1(x)<0 g1(x)<0

0 i/wi1 x1

Hinh 5.3

C5­­T2

+ Cho m = 3: Thi la môt đương

thăng trong măt phăng (x1, x2).

Băng môt nơron ta chia cac san phâm ra 2 loai. Nhơ hai nơron ta co thê chia thanh 4 loai hinh 5.4: g1(x) 0, g2(x) 0 ;

g1(x) 0, g2(x) <0;

g1(x) < 0, g2(x) 0;

g1(x) < 0, g2(x) < 0.NextBack

i i1 1 i2 2g (x) w x w x 0

x1

x2

g2(x)II

IV IIIg1(x)

0

I

Hinh 5.4.

C5­­T2

+ Cho m = 4: gi(x) = wi1x1 + wi2x2 + wi3x3 -

la môt măt phăng trong không gian (x1, x2, x3).

+ Cho m = 5: gi(x) goi la siêu phăng quyêt đinh.

Trương hơp cac trong Wij đươc xac đinh nhơ qua trinh hocCo thê xac đinh cac trong cua mang nơron nhơ qua trinh hoc, đây la tinh ưu viêt cua mang nơron.

NextBack C5­­T2

Nêu môt tâp mâu (x(k), d(k)); k =1,2..p la tôt, thi sau môt sô bươc k = 1, 2,...n p Wij se tiên đên gia tri xac đinh va se không thay đôi cho cac lân hoc tiêp k = n + 1, n + 2, ...p.

Tuy nhiên, cho môt tâp mâu cho trươc không phai luôn luôn tôn tai cac siêu phăng quyêt đinh gj(x). Ngươi ta đa chưng minh răng nêu bai toan phân lơp co lơi giai thi luât hoc (5.7), (5.8) hôi tu sau môt sô hưu han bươc luyên va không phu thuôc vao chon gia tri ban đâu W(1).

NextBack C5­­T2

Vi du: Luyên môt nơron Perceptron vơi môt đâu vao x1 hinh 5.5 nhơ 1 tâp 4 mâu:

NextBack

x1

x2

W1y d

eW2 =

+-

Hinh 5.5

(1) (1)1x 0,5; d 1

(2) (2)1x 1; d 1

(3) (3)1x 2; d 1

(4) (4)1x 2; d 1

C5­­T2

Mơ rông thêm môt đâu vao x2 = -1 đê mô ta ngương cua nơron băng dang không tương minh đôi vơi ngương.Chon hê sô hoc = 0,5 va gia tri trong ban đâu

Như vây ta co cac vectơ đâu vao cua mâu

; ; ;

NextBack

(1) 2W

1,5

; ; ;

(1)(1) 1 0,5x

X11

(2) 1X

1

(3) 2

X1

(4) 1X

1

C5­­T2

Bươc 1:

Bươc 2:

NextBack

(1) (1)T (1) (1)0,5y sgn(W X sgn 2;1,5 sgn( 1 1,5) 1 d

1

(2) (1) (1) (1) (1) (1) 2 0,5 1,5W W W W 2 d X

1,5 1 0,5

(2) (2)T (2) (2)1y sgn W X sgn 1,5;0,5 sgn(1,5 0,5) 1 d

1

(3) (2) (2) (2) (2) (2) 1,5 1 0,5W W W W 2 d X

0,5 1 1,5

C5­­T2

Bươc 3:

Bươc 4:

Vây ;

NextBack

(3) (3)T (3) (3)2y sgn W X sgn 0,5;1,5 sgn( 1 1,5) 1 d

1

(4) (3) (3) (3) (3) (3) 0,5 2 1,5W W W W 2 d X

1,5 1 0,5

(4) (4)T (4) (4)2y sgn W X sgn 1,5;0,5 sgn( 3 0,5) 1 d

1

(5) (4) 1,5

W W0,5

w 1,5 0,5

C5­­T2

*Phương trinh cua ham quyêt đinh g(x)y = sgn(wx-) = sgn(1,5x - 0,5)hay g(x) = 1,5x - 0,5 = 0 điêm quyêt đinh hinh 5.6.

NextBack

-2 -1 0 0,5 2 x

x > , d = +1

x < , d = -1

Hinh 5.6

13

13

13

C5­­T2

Nhân xet:+ Co thê diên đat kiên thưc ma nơron vưa hoc đươc la: Nêu thi thuôc lơp thư 1 co d = +1;

con thi thuôc lơp thư 2 vơi d = -1.

Do đo, co thê đoan đươc trươc kêt qua : x = 4 y = +1; x= -3 y = -1…

NextBack

1x3

1x3

C5­­T2

+Anh hương cua chon gia tri vectơ trong ban đâu: Vi du lây vectơ trong ban đâu khac

lân lươt tinh như trên ta đươc ; . Như vây, phương trinh cua ham quyêt đinh

la: g(x) = 1,5x - 0 = 0 điêm quyêt đinh . Do đo, vectơ trong hôi tu tơi gia tri khac

trươc, nhưng kêt qua cac mâu vân đươc phân thanh hai lơp như trươc.

NextBack

(1) 2W

1

;

w 1,5 0

x 0

C5­­T2

+ Sau khi vectơ trong đa hôi tu, nêu găp môt mâu xâu vectơ trong lai thay đôi. Co thê coi luc đo như băt đâu chu trinh luyên mơi va nêu co đu sô mâu tôt thi W se hôi tu (co thê la đên gia tri khac trươc).

Vây nêu sô mâu xâu la it thi qua trinh luyên vân đat kêt qua. Ngươi ta noi mang nơron co thê lam viêc trong điêu kiên co ca thông tin sai.

NextBack C5­­T2

5.2.2. Mang Adaline 1 lơp (Windrov, 1962).5.2.2.1. Môt Adaline (Adaplive Linear Element): la môt nơron vơi ham tich hơp tuyên tinh va ham kich hoat dôc.a, Sơ đô:

b, Phương trinh mô ta

hoăc (5.9)

NextBack

1

x1

x2

xm-1

xm=-1

yd

e + -

Hinh 5.7m

j jj 1

y w x d

Ty W X d

C5­­T2

c, Luât hoc: Vân đê la dung môt Adaline đê xâp xi môt

ham tuyên tinh (m-1) biên: y = w1x1 + w2x2 + ...+ wm-1xm-1 - nhơ môt tâp hơp gôm p mâu:

w1x1(1) + w2x2

(1) +...+wm-1x(1)m-1

- = d(1)

w1x1(2) + w2x2

(2) +...+wm-1x(2)m-1

- = d(2)

...w1x1

(p) + w2x2(p) +...+wm-1x(p)

m-1 - = d(p)

NextBack C5­­T2

* Điêu kiên đê tim đươc cac ân w1, w2... wm-1, la hê phương trinh tuyên tinh trên co nghiêm, tưc la p m; hoăc nêu p > m thi sô cac phương trinh đôc lâp tuyên tinh cua hê phai m.

- Phương phap cu: Ta cân môt luc m mâu goi la đôc lâp tuyên tinh (co thê kiêm tra theo phương phap nao đo) va tinh vectơ trong W. Sau đo cho vectơ đâu vao x, ơ đâu ra cua nơron ta se nhân đươc gia tri chinh xac

NextBack

Ty W X

C5­­T2

- Phương phap mơi: Ta chon thô vectơ trong ban đâu W(1) sau đo ta tưng bươc hiêu chinh lai W(k) theo cac mâu {x(k), d(k)}, k = 1,2..p, sao cho tông binh phương sai sô đat cưc tiêu:

(5.10)Vân đê đa đươc giai quyêt băng phương phap binh phương cưc tiêu truy hôi (rât nôi tiêng va đa đươc ap dung rông rai trong nhân dang, điêu khiên thich nghi, loc nhiêu, thông kê,...)

NextBack

2p p p m(k) (k) 2 (k) T (k) 2 (k)

j jk 1 k 1 k 1 j 1

1 1 1E(w) (d y ) (d w x ) d w x2 2 2

C5­­T2

Ơ đây Windrow va Hoff đê ra môt luât hoc dưa trên phương phap gradient đơn gian hơn:

(5.11)

Hoc đươc tiên hanh lân lươt theo cac mâu, nên Wj co thê tinh tuân tư:

Wj = (d(k) - WTx(k))xj(k) (5.12)

Chu y: E(w) co dang binh phương, la môt siêu parabol trong không gian cac trong Rm, co môt điêm cưc tiêu duy nhât. Nên nêu chon đu nho theo phương phap gradient ơ trên co thê tim đươc vec tơ trong tôi ưu sau sô lân lăp đu lơn.

NextBack

p(k) T (k) (k)

j jk 1j

EW (d W x )xW

C5­­T2

5.2.2.2. Ap dung cho mang Adaline môt lơp n nơronTa dung ki hiêu: neti = fi cho ham tich hơp.

Ơ đây: neti = WiTx ; a(neti) = neti , nên:

(5.13)

Ta co ham sai sô:

(5.14)

NextBack

ii

i

a(net )a '(net ) 1net

p pn n(k) (k) 2 (k) T (k) 2

i i i ik 1 i 1 k 1 i 1

1 1E(w) = [d y ] [d a(W x )]2 2

2

p n m(k) (k)

i ij jk 1 i 1 j 1

1 d a W x2

C5­­T2

Ap dung thuât toan gradient theo (5.13), (5.14) ta co:

(5.15)

Tư đo nhân đươc luât hoc delta (Windrow) cho câp nhât Wij sau khi mâu thư k xuât hiên:

(5.16)

NextBack

p n(k) (k) ' (k) (k)

i i i jk 1 i 1ij

E [d a '(net )]a '(net )xW

(k) (k) (k) (k)ij i i i j

ij

EW [d a(net )]a '(net )xW

C5­­T2

*Y nghia: Đăc tinh tuyên tinh va thich nghi, nhơ môt mang Adaline ta co thê mô hinh hoa môt hê thông tuyên tinh y = Wx.

Môt khi cac tham sô cua hê thông thay đôi thi ma trân trong cung thay đôi thich nghi theo.

Vơi cac đăc tinh tuyên tinh va thich nghi, cac mang Adaline đươc ap dung rông rai trong xư li tin hiêu thich nghi, cân băng hoa, khư nhiêu, điêu khiên thich nghi cac hê thông tuyên tinh ...

NextBack C5­­T2

5.3. Cac mang truyên thăng nhiêu lơpCac mang truyên thăng nhiêu lơp dung đê

giai nhưng bai toan ma mang môt lơp không lam đươc. Chăng han như bai toan phân lơp XOR.5.3.1. Bai toan phân lơp XOR

Bai toan XOR xư ly vơi hai biên vao x1 va x2 đê phân thanh hai lơp như bang 5.1. Tư bang gia tri ta thây không thê dung môt Perceptron đê phân loai đươc ma phai dung mang phưc tap hơn.

NextBack C5­­T3

Đê phân đươc thanh hai lơp ta se dung 2 đương g1, g2 hinh 5.8 bât ki đê chia không gian đâu vao ra 3 miên:

NextBack C5­­T3

xx11 xx22 lơlơpp

yy ZZ11 ZZ22

00001111

00110011

11222211

++11-1-1-1-1++11

1111-1-111

-1-111-1-1-1-1

g1: x2 = x1 - 0,5 -x1+ x2 + 0,5 = 0;

đăt z1= Sgn(-x1 + x2 + 0,5).

g2: x2 = x1+ 0,5 -x1+ x2-0,5 = 0;

đăt z2 = Sgn(-x1+ x2- 0,5).NextBack

x1

g1x(4)

x2

x(2)

0,5 0

x(1)0,5 x(3)

1

g2

1-1

1 z(2)

h

z1 1

z1=z(4)z(3) -1

z2

Hinh 5.8. Bai toan XORa, b,

C5­­T3

Trong không gian anh (z1, z2), cac mâu ban đâu trơ thanh:x(1) : (0,0) z1

(1) = Sgn(-0+0+0,5) = 1;

z2(1) = Sgn(-0+0-0,5) = -1

x(2) : (0,1) z1(2) = Sgn(-0+1+0,5) = 1;

z2(2) = Sgn(-0+1-0,5) = 1

x(3) : (1,0) z1(3) = Sgn(-1+0+0,5) = -1;

z2(3) = Sgn(1+0-0,5) = -1

x(4) : (1,1) z1(4) = Sgn(-1+1+0,5) = 1;

z2(4) = Sgn(-1+1-0,5) = -1NextBack C5­­T3

Ta thây: z(1) z(4), va cân môt Perceptron đê phân lơp, vi du theo đương quyêt đinh h: z2 = z1 – 1 -z1+ z2 + 1 = 0.

Đê z(1) z(4)(năm dươi h) tương ưng vơi đâu ra y = +1 , thi: y = -Sgn(-z1+z2+1)

= Sgn(z1-z2-1).

Mang nơron đê phân lơp hinh 5.9.

NextBack C5­­T3

NextBack

z1

y

1

z1-1

0,5-0,5

1

x2

x1

11

-1

Hinh 5.9. Mang nơron đê phân lơp XOR

C5­­T3

5.3.2. Thuât hoc lan truyên ngươc (Runethart, Hinton, Williams)

Mang nơron thưc sư la công cu manh khi no gôm nhiêu lơp vơi sô lương lơn cac nơron. Luc đo vân đê hoc trơ nên kho khăn. Thuât hoc lan truyên ngươc không nhưng đưa ra thuât toan, ma no con chi ra cach điên tư hoa - đê chê tao thanh cac vi mach nhăm giai quyêt tinh toan trong thơi gian thưc, dê dang cho ưng dung.

Mang truyên thăng vơi thuât toan lan truyên ngươc goi la mang lan truyên ngươc.

NextBack C5­­T3

Mang lan truyên ngươc co kha năng “tông quat hoa” cao.

Sau khi đươc luyên theo môt tâp mâu {x(k), d(k)}, k= 1,2...p se cho ta đap ưng châp nhân đươc y(k) cua đâu vao x(k) không phu thuôc tâp mâu dung đê luyên.

Thưc chât ơ đây ta ap dung phương phap gradient đê tim gia tri tôi ưu cua cac trong Wij, sao cho tông binh phương sai sô nho nhât.

NextBack C5­­T3

Nhươc điêm cua phương phap la co thê chi đat tôi ưu cuc bô.

Phương phap binh phương cưc tiêu truy hôi đam bao đat tôi ưu toan cuc, nhưng không ap dung đươc ơ đây, vi cac nơron co ham tich hoat a(.) phi tuyên thi sai sô không con la tuyên tinh đôi vơi cac trong nưa (trong trương hơp mang tuyên) (mang Adaline) thi phương phap cung rât kho “cưng hoa” đươc.

NextBack C5­­T3

Đê hiêu ro thuât lan truyên ngươc ta xet mang nơron hai lơp hinh 5.10.

Vơi gia thiêt câu truc cua mang (sô lơp, sô nơron trong môi lơp) đa đươc xac đinh (vi du qua bươc hoc câu truc).

Ta phai tim cac trong Wiq, Vqj đê xâp xi tôt nhât quan hê giưa n đâu ra yi vơi m -1 đâu vao xj theo môt tâp mâu {x(k), d(k)}, k = 1,2...p.

NextBack C5­­T3

NextBack

Lơp vao

xj

xm-1

xm=-1 e1

x1 1

2

q

1

i

n

1zl =-1

y1

yi

yn

z1Wiq

zq

Hinh 5.10Lơp ra

Vqj

C5­­T3

Trươc hêt ta mơ rông vectơ x thêm môt phân tư xm = -1 va biêu diên vectơ ngương nhơ vectơ trong Wqm, (q = Wqm, q = 1,2...l).

+ Lơp vao: Ham tich hơp

(5.17)

Ham kich hoat: (5.18)

NextBack

m

q qj jj 1

net v x ; q 1,2... 1

l

m

q q qj jj 1

z a net a v x

C5­­T3

+ Lơp ra: Ham tich hơp

(5.19)

Ham kich hoat: (5.20)

+ Ham sai sô:

(5.21)

NextBack

m

i iq q iq qj jq 1 q 1 j 1

net W Z W a v .x

l l

m

i i iq qj jq 1 j 1

y a net a W a v x

l

2n n

2i i i iq q

i 1 i 1 q 1

1 1E(w) (d y ) d a W Z )2 2

l

C5­­T3

NextBack

i iiq i i i q 0i q

iq i i iq

y netE EW . . (d y ).a '(net ).Z ZW y net W

+ Theo phương phap gradient: Cac trong nôi nơron thư q cua lơp vao vơi nơron thư i cua lơp ra đươc câp nhât như sau:

(5.22)

Trong đo ta goi 0i la ky hiêu sai sô cua nơron thư i trong lơp ra:

(5.23)i

0i i i ii i i

yE E . (d y )a '(net )net y net

C5­­T3

Luât câp nhât cho cac trong nôi đâu vao thư j vơi nơron thư q cua lơp vao:

(5.24)Trong đo ky hiêu:

(5.25)

NextBack

q q qqj

qj q qj q q qj

net Z netE E Ev . . .v net v Z net v

n

i i i iq q j hq ji 1

[(d y )a '(net )W ]a '(net )x x

nq

hq q oi iqi 1q q

ZE E a '(net ) wnetq Z net

C5­­T3

* Tinh a’(net) = ? Tông quat: Biêt a(.) se tim đươc a’(.). Xet cac trương hơp thương găp:+ Trương hơp ham kich hoat dang sigmoid đơn cưc cho = 1, ta co a’(net) = a(net).[1-a(net)]Như vây: oi = (di -yi)yi(1-yi);

NextBack

net

net net 21 a ea(net) a '(net)

net1 e (1 e )

n

hq q q oi iqi 1

z (1 z ) W

C5­­T3

+ Trương hơp ham sigmoid lương cưc, = 1:

…..

Ta thây: (5.22), (5.24) co dang luât hoc tông quat (4.5), trong đo cac tin hiêu hoc r = . So sanh vơi (5.16) co thê noi: đây la luât hoc delta tông quat hoa cho mang nhiêu lơp.

Phương phap trên đây cung dê dang mơ rông cho mang nhiêu lơp ân.

NextBack

2net

2 1a(net) 1; a '(net) [1 a (net)]21 e

C5­­T3

5.3.3. Kha năng xâp xi cac ham phi tuyênNgươi ta đa chưng minh (cybenko,1998; Funashi, 1989; Harnik, 1989; hacht-Niseon,1989...) mang nơron truyên thăng co môt hoăc nhiêu lơp ân vơi ham tich hơp tuyên tinh hoăc đa thưc va ham kich hoat dang bep la công cu xâp xi van năng. No co thê xâp xi cac ham phi tuyên bât ky vơi đô chinh xac tuy y.

NextBack C5­­T3

Tuy nhiên, cac công trinh mơi chu yêu chưng minh sư tôn tai, con vê câu truc cua mang: sô lơp, sô nơron trong môi lơp ân - thi chưa đưa ra đươc phương phap xac đinh cu thê măc du li thuyêt đa chi ra:

Chi cân 3 lơp la đu nhưng trong thưc tê vân dung 4 đên 5 lơp hoăc nhiêu hơn tuy theo đô phi tuyên cua ham sô. Bơi vi xâp xi băng mang 3 lơp thương đoi hoi sô lương nơron qua lơn măt khac la không đu cho ôn đinh hoa - nhât la trong xâp xi cac ham không liên tuc.

NextBack C5­­T3

Cac kêt qua thưc nghiêm (Chester, 1990...) cho thây: Mang 4 lơp - vơi 2 lơp ân cho đô chinh xac cao hơn, tinh tông quat hoa tôt hơn va cân sô nơron it hơn so vơi mang môt lơp ân.

Co thê noi (sontag, 1992 Chen 1994...): Mang 4 lơp vơi mang 2 lơp ân phi tuyên la thich hơp cho nhiêu ưng dung.

Phân tich chinh xac sô nơron cân thiêt trong tưng lơp ân la kha kho do tinh phưc tap cua mang, nên thương xac đinh băng thưc nghiêm.

NextBack C5­­T3

5.3.4. Mang RBF (Radiel Basis Funtion)a, Sơ đôMang RBF đươc Moody va Darker đê xuât năm 1989 dưa trên sư tương đông giưa khai triên RBF vơi mang nơron hai lơp. Khi nghiên cưu hê thông mơ, ngươi ta lai chưng minh răng, hê thông mơ vơi mơ hoa đơn điêu, mô ta suy diên tich, giai mơ trong binh tâm va kiêu Gauss la tương đương vơi mang RBF. Tư đo ta tim đươc dang cua ham kich hoat cho lơp ân, cung như y nghia vât ly cua cac tham sô va mang đươc goi la kiêu Gauss.

NextBack C5­­T3

Kha năng xâp xi cua cac ham phi tuyên cua mang co thê thưa nhân tư 2 li do:

1. no la 1 kiêu triên khai RBF va 2. tương đương vơi hê mơ

Mang RBF la môt công cu xâp xi van năng. Đăc biêt mang RBF Gauss se la môt kiêu mang “co môt sô ngươi thăng”, nên co thê ap dung luât hoc không giam sat cua Kohonen mơ rông. Điêu nay co thê giai thich tư cach suy diên kiêu NÊU-THI cua hê thông mơ tương đương.

Mang RBF như hinh 5.11

NextBack C5­­T3

NextBack

xj

xm

x1

1

n

y1

yi

yn

Wiq

Zq

1

11

Hinh 5.11

Lơp vaoLơp ra

l

q

1

i

C5­­T3

b. Phương trinh mô ta+ Lơp vao co m đâu vao, tât ca cac trong Wqj = 1

Ham kich hoat co dang Gauss chuân hoa:

(5.26)

Trong đo, x = [x1,x2...xm] vectơ đâu vao

mk la vectơ tâm (gia tri trung binh),

k (Scalar) la chiêu rông (phương sai),

. ki hiêu chuân ơclit.+ Lơp ra co n đâu ra: (5.27)

NextBack

2 2q q

q l2 2

k kk 1

exp[ x m / 2 ]Z

exp[ x m / 2 ]

Ti iq q i

q 1y W Z W Z

l

C5­­T3

c, Phương phap hocHam sai sô cân đươc cưc tiêu hoa

(5.28)

Phương phap 1: Hoc nhanh không giam sat cho lơp vao va co giam sat cho lơp ra.Ta thây, cac nơron lơp vao lam viêc theo kiêu canh tranh “co môt sô ngươi thăng”. Nhưng đê đơn gian ta ap dung luât hoc Kohonen cho mang “chi môt sô ngươi thăng” hay “ngươi thăng chiêm tât ca” (Winner-Take-All). Như sau:

NextBack

2p pn n(k) (k) 2 (k) (k)

i i i iq qk 1 i 1 k 1 i 1 q 1

1 1E [d y ] d W Z2 2

l

C5­­T3

+ Xac đinh nơron thăng: Co vectơ tâm (ki hiêu mv) gân x nhât.

x - mv = Min x – mq (5.29)

+ Luât câp nhât: mv = (x - mv) (5.30)

Vectơ tâm cua nơron khac thi giư nguyên.Chiêu rông q cua nơron lơp vao co thê câp nhât băng nhiêu cach theo nhưng quan điêm khac. Đơn gian nhât la công thưc cua Lin, Lec, 1991:NextBack C5­­T3

q = mq - mq - closest / (5.31)

Trong đo mq - closest la vectơ gân mq nhât,

la tham sô chông lân.Đê khư sai sô do cach hoc nhanh không

giam sat gây ra, cân thưc hiên hoc co giam sat ơ lơp ra.

Tư (5.27) co thê thây: Sai sô e(k)

i = di(k) - yi

(k) la ham tuyên tinh vơi vectơ trong Wi. Nên đê sai sô đat cưc tiêu toan cuc.

NextBack C5­­T3

Ta ap dung phương phap binh phương cưc tiêu truy hôi. Phương phap tuy phưc tap, kho “cưng hoa” nhưng vân đươc sư dung rông rai trong cac trương hơp tinh toan off-line vi cho kêt qua tôt nhât. Đơn gian hơn ta co luât hoc delta tư (5.28):

Wiq= ( (di(k) - yi

(k))Zq(k) (5.32)

(vơi đu nho, E co thê đat điêm cưc tiêu, duy nhât la đinh cua siêu parabol trong không gian trong).

NextBack C5­­T3

Phương phap 2: Đương nhiên mang RBF con co thê hoc theo

luât lan truyên ngươc.

(5.33)

NextBack

iq w i i q(d y )z

ni

q m i ii 1 q

ym (d y )

m

ni

q i ii 1 q

y(d y )

C5­­T3

Nhưng cac đao ham riêng kha phưc tap, nên tinh toan châm hơn rât nhiêu (kê ca so vơi mang truyên thăng vơi ham kich hoat Sigmoid). Hơn nưa lai co thê xay ra vân đê “chiêu rông lơn” lam mât tinh cuc bô cô y trong mang RBF. y tương cua phương phap “điêu khiên ban kinh hiêu qua” (Lec, Kil, 1998) như sau: nêu môt mâu x(k) qua xa mâu nơron hiên co, thi môt nơron mơi đươc thêm vao, lam cho mang co kha năng tư tăng trương (growing network)...

NextBack C5­­T3

Chương 6MANG NƠRON PHAN HÔI MÔT LƠP

6.1. Mang Hopfield rơi rac6.2. Mang Hopfield liên tục6.3. Tôi ưu hoa sư dụng mang nơron

NextBack Nôi dung C6

Co nhiêu hê mang nơron phan hôi, song đăc trưng nhât la mang Hopfield. Cac công trinh nghiên cưu cua Hopfield tư 1982 - 1986 mơ đâu thơi ky hiên đai cua mang nơron. Cac mang Hopfield kem theo sơ đô điên tư đa thuc đây viêc xây dưng chip nơron VLSI (Very Large Scale Intergation (mach tich hơp mât đô cao)) analog đâu tiên (Howard...,1988). Đên nay đa co rât nhiêu ưng dung thanh công, đăc biêt trong linh vưc bô nhơ liên kêt, tôi ưu hoa. Mang Hopfield la trương hơp đăc biêt cua mang Cohen-Grossberg (1983).

NextBack C6­­T

Mang co m đâu vao ngoai xi, n đâu ra yi cac ngương i, cac trong đôi xưng Wij = Wji, không co vong tư phan hôi Wii = 0, i = 1,2...n hinh 6.1.

NextBack C6­­T1

x1

x2

xm

y1

y2

yn

-1

-1

-1

1

n

Hinh 6.1

6.1. Mang Hopfield rơi rac 6.1. Mang Hopfield rơi rac 6.1.1. Sơ đô6.1.1. Sơ đô

6.1.2. Phương trinh đâu ra (luât câp nhât)

(6.1)

Câp nhât: Kiêu không đông bô va ngâu nhiên ơ môi thơi điêm k+1 chi co môt nơron đươc

chon môt cach ngâu nhiên đê câp nhât đâu ra cua no.

NextBack C6­­T1

n(k 1) (k)i ij j i i

j 1j i

y sgn W y x

6.1.3. Tinh ôn đinh cua mangTa xet ham sô goi la ham năng lương

(6.2)

Ơ đây ta không sư dung trưc tiêp đinh li Liapunov cho cac hê thông rơi rac, ma chi dưa vao y tương cua đinh li, kêt hơp vơi cac tinh chât cua ham E đê chưng minh mang luôn tiên đên trang thai cân băng, năm ơ điêm cưc tiêu cuc bô cua E.

NextBack

n n n n

ij i j i i i ii 1 j 1 i 1 i 1

j i

1E W y y x y y2

C6­­T1

Đê tranh nhâm lân ta viêt lai (6.2) dươi dang:

(6.3)

Trong đo: q = 1,2...,i,...,n: ki hiêu sô thư tư cac nơron, i la nơron se đươc chon đê câp nhât theo (6.1). Ta co:

(6.4)

NextBack

n n n n

qj q i q q q qq 1 j 1 q 1 q 1

j i

1E W y y x y y2

q

n n n n(k 1) (k 1) (k 1) (k 1)

qj q j q q qq 1 j 1 q 1 q 1

1E(k 1) W y y x y y2

C6­­T1

Ta xet:

Nêu ta cung khai triên

va tinh E(k) thi se nhân đươc kêt qua sau khi rut gon vơi lưu y:

Wqj = Wjq, Wqq = 0 , yj(k+1)- yj

(k):

NextBack

(k 1)

21

(k 1)

i q n

n n n(k 1) (k 1) (k 1) (k 1) (k 1)

qj q j q1 1 q2 qq 1 j 1 q 1

j i

(k 1) (k 1) (k 1)qi q qn

W y y W y y W y y

... W y y ... W y y

q j

n n(k) (k)

qjq 1 j 1

j i

W y y

C6­­T1

(6.5)

Tư (6.1) nêu yi thay đôi tư yi(k) = -1 sang

yi(k+1) = +1 (tưc la yi = 2) thi neti > 0, do đo E <

0. Tương tư nêu yi đôi tư yi(k) = 1 sang yi

(k+1) = -1 (tưc la yi = -2) thi neti < 0 va E < 0.

NextBack

n(k) (k 1) (k)

ij j i i i ij 1j i

i i

E E(k 1) E(k) W y x y y

net y

C6­­T1

Con tư (6.5) khi yi không thay đôi E = 0. Ta co E 0, tưc ham năng lương luôn giam. Theo (6.2) ta thây ham E co dang binh phương va bi giơi han trong không gian đâu ra n chiêu yi, i = 1,2...n.

Do đo vơi luât câp nhât (6.1), ham năng lương E phai đat cưc tiêu (cuc bô).

Mang Hopfield luôn hôi tu đên trang thai ôn đinh năm ơ điêm cưc tiêu cuc bô cua ham năng lương E sau môt sô hưu han bươc tinh.

NextBack C6­­T1

* Nhân xet: + Tư cach chưng minh tinh ôn đinh cua mang, ta thây yêu câu Wqq = 0 la không cân thiêt, mang co thê co môt sô hoăc tât ca cac vong tư phan hôi, ma vân (6.5) vân đung. Thât vây, luc bây giơ

Vi yi {+1,-} nên:

+ Trương hơp cac trong không đôi xưng Wij Wji cho môt sô i, j (goi la mang Hopfield biên dang) đa đươc Roska nghiên cưu (1988).

NextBack

(k 1) (k 1) (k) (k)iii i i i i i

WE (net ) y (y y y y )2

2 2(k 1) (k)i iy y 0

C6­­T1

6.2. Mang Hopfield liên tục 6.2.1. Sơ đô

Mang Hopfield liên tuc la tông quat hoa cua mô hinh Hopfield rơi rac mô ta đươc qua trinh qua đô, nên goi la nơron đông, mang nơron đông (dynamic). Mang Hopfield liên tuc thich hơp cho mô hinh hoa cac hê đông lưc,Mang Hopfield liên tuc đươc biêu diên băng phương trinh vi phân. Sơ đô mang Hopfield liên tuc như hinh 6.2.

NextBack C6­­T2

NextBack C6­­T2

x1

xj

xn

n

a(.)

a(.)

a(.)

y1

yi

yn

Hinh 6.2. Mang Hopfield liên tuc

6.2.2. Phương trinh đông hoc (luât tiên triên):

(6.6)

Hoăc (6.7)

(6.8)

Phương trinh (6.6) thương đươc dung kem vơi sơ đô điên tư cua mang phương trinh (6.7) dân ra tư (6.6) vơi:

NextBack

ni

i ij j i i i ij 1j i

dUC W (y U ) g U xdt

ni i

i ij j ij 1 ij i

dU UC W y xdt R

ii i U

1y a U 11 e

n

jj

iiji

yWR

11

1

C6­­T2

6.2.3. Tinh ôn đinh cua mang Xet ham năng lương

(6.9)

Trong đo: Ham ngươc a-1(y) = U. Theo phương phap

Liapunov, ta tinh:

(6.10)

NextBack

iyn n n n1

ij i j i ii 1 j 1 i 1 i 1i 0

j 1

1 1E W y y x y a (y)dy2 R

ni

i 1 i

dydE Edt y dt

C6­­T2

Vơi gia thiêt: Wij = Wji, tư (6.9) ta co:

Thay vao (6.10) va theo (6.7) ta đươc:

.Trong đo:

NextBack

ni

ij j ij 1i ij 1

UE W y x .y R

ni i

ii 1

dU dydE C .dt dt dt

1 1i i i i i

i

dU da (y ) dy a (y ) dy1 .dt dy dt dt

C6­­T2

Nên:

Vơi a-1(yi) (do đo keo theo yi = a(Ui)) la đơn điêu tăng, thi

Cac ham kich hoat Sigmoid thoa man điêu kiên nay, va ham năng lương E luôn giam.

NextBack

2n1i i

ii 1

C dydE a (y )dt dt

dE 0dt

C6­­T2

So sanh vơi ham năng lương cua mang Hopfield rơi rac (6.2). Suy ra: Tông 2 sô hang đâu cua (6.9) la bi giơi han. Hinh 6.3 cho biêt cac tich phân trong sô hang cuôi la > 0 cho yi 0 vây E bi chăn dươi. Do đo, mang Hopfield đat đươc trang thai ôn đinh tai điêm cưc tiêu (cuc bô) cua ham năng lương E.*Chu y: + Trong nhiêu tai liêu ngươi ta chi chưng minh , (E la môt ham Liapunov).

+ Co thê mơ rông cho mang co Wii 0.

NextBack

dE 0dt

C6­­T2

NextBack

1-1

U=a-1(y)

y

-1 1y

Hinh 6.3. Năng lương mang Hopfield liên tuc

C6­­T2

6.3. Tôi ưu hoa sư dụng mang nơron6.3.1. Môt sô vân đê cơ ban

Năm 1982 Hopfield va Tark đa nhân thây kha năng sư dung mang Hopfield vao tinh toan tôi ưu. Bơi vi mang nơron se tiên tơi trang thai ôn đinh, tai đo ham năng lương E đat cưc tiêu, nên co thê thiêt kê mang nơron đê cưc tiêu ham sô f băng cach đăt f = E, va tim môi liên hê giưa cac biên cua f va E.

NextBack C6­­T3

Ngươi ta goi phương phap nay la tôi ưu hoa không thuât toan. Hopfield va Tark minh hoa môt sô ưng dung: Bai toan tim đương đi cho ban hang, xư li tin hiêu, qui hoach tuyên tinh. Cho muc đich tôi ưu hoa, môt sô mang khac (như Kohenen...) đa sư dung.

Đên nay ta đa co hang loat kêt qua trong nhiêu linh vưc, như nhân dang đôi tương tôi ưu hoa tô hơp, điêu khiên tôi ưu cac hê thông vơi thông sô thay đôi, tôi ưu hoa cam biên...

NextBack C6­­T3

Nhưng kho khăn cân phai giai quyêta, Phương phap không đam bao đat cưc tiêu toan cuc. Đê giai quyêt vân đê nay, ngươi ta ap dung ky thuât “u mô phong” (Simulated Annealing) (băt nguôn tư kinh nghiêm u cac vât thê kim loai đươc nung nong trong luyên kim) (Waug J., 1994).

Trương hơp mang Hopfield rơi rac vơi luât hoc ap dung u mô phong goi la may Boltzman (Acklag..., 1985). Đa co phương phap u “cưng hoa” cho mang nơron tê bao (Bang S.H, Bing f.S., 1996).

NextBack C6­­T3

b, Chon cac hê sô muc tiêu va hê sô rang buôc thich hơp đê nhân đươc môt lơi giai tôt, gân tôi ưu, noi chung kha phiên phưc, chu yêu dưa vao thưc nghiêm.

NextBack C6­­T3

6.3.2. Tim điêm cưc tiêu cua ham nhiêu biên sư dụng mang Hopfield6.3.2.1. Đê E bao gôm môt lơp rông hơn cac ham sô thương găp Ta tiên hanh môt sô mơ rông sau:

a. Như đa nêu ơ trên, co thê xet cac trương hơp Wii 0 (mang co cac vong tư phan hôi).

NextBack C6­­T3

b. Sô hang chưa tich phân trong (6.9) rât it khi thây trong thưc tê (hoăc la điêu kiên đê xac đinh khuyêch đai ).

Đê co thê bo qua ta gia thiêt đu lơn. Ham E se co dang tương tư trương hơp

mang Hopfield rơi rac (6.2) vơi

(6.11)

NextBack

i 0

n n n

ij i j i ii 1 j 1 i 1

1E W y y x y2

C6­­T3

6.3.2.2. Bai toan cưc tiêu hoa ham muc tiêu n biên Bai toan cưc tiêu hoa ham muc tiêu n biên

f(z) vơi m rang buôc đăng thưc: Cl(z) = 0 , l = 1,2... m.

Băng cach đưa vao hê sô rang buôc µl ta chuyên vê cưc tiêu hoa ham f*:

(6.12)

Xay ra 3 trương hơp sau

NextBack

m*

1f f (z) C (z)

l l

l

C6­­T3

* Trương hơp ham muc tiêu va cac rang buôc co dang tuyên tinh

Thay vao (6.12) ta đươc:

NextBack

n n nobj obj

ij i j i ii 1 j 1 i 1

1f (k) W Z Z x x2

n n m

ij i j i ii 1 j 1 i 1

1C (z) W Z Z x z2

l ll

n n m m m* obj obj

ij ij i j i i ii 1 j 1 1 i 1 1

1f W W z z x x z2

l ll l

l l

C6­­T3

Tư (6.1) nhân thây nêu đăt z = y, ta co thê giai bai toan tôi ưu nhơ mang Hopfield vơi khuyêch đai đu lơn:

(6.13) la ham sigmoid

* Trương hơp ham muc tiêu la môt đa thưc đa tuyên

f(z): ta cân xây dưng mang hôi qui (Vidyasgar, 1995):

NextBack

n m mobj obji i

i ij ij j i ij 1 1 1i

dU UC (W W )y (x x )

dt R l l

l ll l

i iy a U

n1[0,1] R ,z {0,1}

C6­­T3

(6.14)

Sau đo dưa vao ham năng lương Liapunov:

(6.15) Đê khao sat tinh ôn đinh cua mang, va tim đươc điêm cưc tiêu f(y).

* Trương hơp tông quat: f(z) co dang bât ki đa đươc nhiêu tac gia nghiên cưu nhưng vân con mơ.

NextBack

i ii

i i

dU Udf (y) bdt dy

iynT 1

i 1 i 0

1E f (y) b y a (y)dy

Hết­C6­­T3