7-RBF

1

-------------------------------------------------------------------------------------------------------------------------- เอกสารประกอบการสอนวชาขายงานประสาทเทยม (Artificial Neural Networks) 322 752 (ฉบบปรบปรง พ.ศ.2552) โดย ผศ.ดร.สรภทร เชยวชาญวฒนา ภาควชาวทยาการคอมพวเตอร คณะวทยาศาสตร มหาวท

บทท 7 ขายงานเรเดยลเบสสฟงกชน Chapter 7: Radial Basis Function Network (RBFN)

สงทตองศกษาส าหรบบทน

บทน า

แนวคดการสรางขายงานเรเดยลเบสสฟงกชน

เรเดยลเบสสฟงกชน

สถาปตยกรรมของขายงาน RBF

ขายงาน Regularization (Regularization network)

ขายงาน Generalize Regression Neural Networks (GRNN)

ตวอยาง RBF Network ทวไป

กลยทธการเรยนรขายงาน RBF ทวไป

o การเรยนรขายงาน RBF แบบก าหนดคากลางคงท (Fixed Centers) o การเรยนรขายงาน RBF แบบไมก าหนดคากลางทคงท (Unfixed Centers) o ขนตอนวธการเรยนรแบบ Gradient descent

ตวอยางการค านวณ RBF

ตวอยาง Matlab code

7.1 บทน า ขายงานเรเดยลเบสสฟงกชน ในทนขอเรยกสนๆวา ขายงาน RBF จดวาเปนขายงานทมสถาปตยกรรมแบบปอนไปขางหนาและมหลายชนเชนกน อยางททราบกนวาขายงานประสาทเทยมแบบหลายชนมความสามารถในการท า non-linear mapping หรอเปนการแปลงปญหายากใหเปนปญหาทงายขน และเมอลกษณะของปญหานนมความยากเพมขน การใชวธเพมชนของเพอรเซปตรอนไปเรอยๆนนอาจท าใหใชเวลาคอนขางมากในการค านวณ การลเขากอาจจะชาขน และขอจ ากดของการใชเสนแบงแยกนน ทส าคญคอ ไมอาจจ ากดขอบเขตของกลมของขอมลตามธรรมชาตของขอมลได ตวอยางดงรปท 7.1 (ก) ใชการแบงแยกเชงเสน 1 เสน ยงไมสามารถแกปญหาได เมอใชแบงแยก 2 เสนดงรปท 7.1 (ข) สามารถแกปญหาได แตจะเหนวาขอบเขตพนทของแตละกลมมไมจ ากด ถาเพมจ านวนของกลมหรอ class มากขน

2


จะไมสามารถแกปญหาได ถาใชวงกลมครอบขอบเขตของกลมดงรปท 7.1 (ค) จงนาจะมความยดหยนมากกวาถาจ าเปนตองเพมขอมลกลมอนๆเขาไปภายหลง และกรณทจ านวนกลมมากกวา สองกลม คอปญหา multi-class ใชการแบงแยกเชงเสน 1 เสนดงรปท 7.2 (ก) และใชจ านวนเสนมากขนดงรปท 7.2(ข) ยงไมสามารถแกปญหาได แตถาใชวงกลมครอบจะเหนวาสามารถแกปญหาไดดกวา จากตวอยางทยกมานน นาจะสนนษฐานไดวา ถาพฤตกรรมของขอมลดงกลาวมลกษณะการกระจายตวทเปนการกระจายแบบจบกนเปนกลมกอน กนาทจะสามารถใชวงกลม หรอถวยครอบ มาครอบกลมขอมลนนเพอใหแยกแตละกลมออกจากกนได จากแนวคดเชนน จงมผคดคน การใชความสามารถของฟงกชนเกาสเซยน (Gausian) มาใชในขายงาน ซงถกเรยกวา Regularization Networks เนอหาส าหรบบทน จะไดกลาวถงการแกปญหาดวยขายงาน RBF ปญหา Interpolation สถาปตยกรรมของขายงานประสาทเทยม RBF ประเภทโดยทวไปของขายงาน RBF การเรยนรขายงาน RBF 2 แบบคอ การเรยนรขายงาน RBF แบบก าหนดคากลางคงท (Fixed Centers) และ การเรยนรขายงาน RBF แบบไมก าหนดคากลางทคงท (Unfixed Centers) และตวอยางการค านวณขายงาน RBF

รปท 7.1 (ก) : ปญหา 2 class ทใช linearly separable 1 เสน

รปท 7.1 (ข) : ปญหา 2 class ทใช linearly separable 2 เสน

รปท 7.1 (ค) : ปญหา 2 class ทใช ถวยครอบ

รปท 7.2 (ก) : ปญหา multi-class ทใช linearly separable 1 เสน

รปท 7.2 (ข) : ปญหา multi-class ทใช linearly separable มากกวา 1 เสน

รปท 7.2 (ค) : ปญหา multi-class ทใช ถวยครอบ

3


7.2. แนวคดการสรางขายงานเรเดยลเบสสฟงกชน แนวคดส าหรบการสรางขายงานเรเดยลเบสสฟงกชน คอ ให เซต 𝑋 คอเซทของกลมขอมลอนพต 𝑋 = 𝑥1, 𝑥2,…𝑥𝑛 ซงสามารถทจะท าการแบงออกเปน สองกลมไดคอ กลม 𝑋+และ 𝑋− และกลมขอมลอนพต 𝑋 นนมความซบซอนมากไมสามารถทจะใชการแบงแยกเชงเสนในพนทของขอมลได ดงนนจงไดเพมมตของขอมลใหสงขน เพอใหสามารถใชการแบงแยกเชงเสนได จงเปนแนวทางในการทจะ แปลงอนพตจากพนทขอมลไปเปนพนทของฟงกชน 𝜑𝑖 𝑥 ซง 1 ≤ 𝑖 ≤ 𝑚 และ 𝜑 𝑥 =

𝜑1 𝑥 𝜑2 𝑥 …𝜑𝑚 𝑥 โดย 𝜑𝑖 𝑥 คอนวรอนในชนซอนนนเอง ซงสามารถทจะใชการแบงแยกเชงเสนไดในพนทของฟงกชน 𝜑𝑖 𝑥 นนคอ

𝑤𝑖𝜑𝑖 𝑥

𝑚

𝑖=1

≥ 0 𝑥 ∈ 𝑋+

(7.1)

และ

𝑤𝑖𝜑𝑖 𝑥

𝑚

𝑖=1

< 0 𝑥 ∈ 𝑋−

(7.2)

7.3 เรเดยลเบสสฟงกชน นกวจย Powell [22] ป 1987 เสนอ RBF (Radial Basis Function) ในการท า Interpolation ม 𝑛 จดขอมลของ 𝑥𝑖𝜖 𝑅𝐼และสมพนธกบ 𝑛 จดขอมลจรงของ 𝑑𝑖𝜖 𝑅𝐷 โดยท าการหาฟงกชน 𝐹:𝑅I →

𝑅𝐷 ทอยใน linear space ซง𝐹 𝑥𝑖 = 𝑑𝑖 และฟงกชนของ การท า Interpolation คอการรวมกนแบบเชงเสน(linear combination) ของฟงกชน basis ดงสมการ

𝐹 𝑥 = 𝑤𝑖𝑔𝑖

𝑚

𝑖=1

(7.1)

และ รปแบบ เรเดยลเบสสฟงกชน คอ 𝑔𝑖 𝑥 = 𝜑𝑖 𝑥 − 𝑥𝑖 (7.2)

โดย 𝜑 เปนการ map จาก 𝑅𝐼 → 𝑅𝐷 ใหสญลกษณตางๆดงน 𝑥 แทน ขอมลอนพต 𝑤𝑖 แทนคา น าหนก ของโหนด 𝑖

𝑔𝑖 แทนคา ฟงกชน basis ของโหนด 𝑖

4


𝜑𝑖 𝑥 − 𝑥𝑖 |𝑖 = 1,…𝑚 แทนเซทของฟงกชนแบบไมเชงเสน เรยกวา เรเดยลเบสสฟงกชน , . คอ ยคลเดยนนอรม (Euclidian Norm)

ใหก าหนดคากลางส าหรบเรเดยลเบสสฟงกชนคอ 𝑥𝑖 ∈ 𝑅𝐼 ดงนน

𝜑𝑖𝑗 = 𝜑 𝑥𝑗 − 𝑥𝑖 จะได

𝜑11

⋮𝜑𝑚1

𝜑12

⋮𝜑𝑚2

…⋯…

𝜑1𝑚

⋮𝜑𝑚𝑚

𝑤1

𝑤2

⋮𝑤𝑚

=

𝑑1

𝑑2

⋮𝑑𝑛

(7.3)

เมอให 𝐷 = 𝑑1 𝑑2 …𝑑𝑛

T แทน คาเซทขอมลจรง 𝑊 = 𝑤1 𝑤2 …𝑤𝑛

T แทนคา เซทของน าหนก 𝜙 แทนคา แมทรกตขนาด 𝑚 × 𝑚 ของสมาชก 𝜑𝑗𝑖

𝜙𝑊 = 𝐷 (7.4)

𝑊 = 𝜙−1𝐷 (7.5) ดงนนจะหาคาน าหนก จะแกสมการโดยใชวธการ pseudo inverse รปแบบของ 𝜑 𝑟 แบบตางๆมดงน

Multi Quadratic function 𝜑 𝑟 = 𝑟2 + 𝑐 1 2 ซง 𝑐 เปนคาคงท และ 𝑟𝜖𝑅 𝜑 𝑟 = 𝑟 𝜑 𝑟 = 𝑟2 𝜑 𝑟 = 𝑟3 𝜑 𝑟 = 𝑒−𝑟

2

เกาสเซยนฟงกชน 𝜑 𝑟 = 𝑒𝑥𝑝 −𝑟2

2𝜎2 ,𝜎 > 0, 𝑟 ≥ 0

7.4 สถาปตยกรรมขายงาน RBF

5


สถาปตยกรรมขายงาน RBF โดยทวไปนน เปนขายงานประสาทเทยมแบบปอนไปขางหนาแบบหลายชน ซงโครงสรางของขายงานประกอบไปดวย 3 ชน คอ ชนอนพต ชนซอน และชนเอาทพตดงรปท 7.3 ชนอนพตม 𝑚 นวรอน ชนซอนของขายงานม 1 ชน ส าหรบชนเอาทพตม 𝑛 นวรอน การเชอมตอกน

รปท 7.3 สถาปตยกรรมขายงาน RBF

ระหวางชนอนพตกบชนซอน เปนการเชอมตอแบบ hypothetical แตการเชอมตอระหวาง ชนซอนกบ ชนเอาทพต จะเชอมตอดวยคาน าหนก และมการปรบคาน าหนกในระหวางการฝกสอนขายงาน

7.5 ขายงาน Regularization (Regularization network) เปนขายงานประสาทเทยม RBF ทใช green function คอ

𝐺 𝑥; 𝑥𝑖 = exp −1

2𝜎2 𝑥 − 𝑥𝑖

2 (7.6)

ดงนนจงได

𝐹 𝑥; 𝑥𝑖 = 𝑤𝑖

𝑛

𝑖=1

exp −1

2𝜎2 𝑥 − 𝑥𝑖

2 (7.7)

ซงจะมจ านวนของโหนดในชนซอน เทากบจ านวนขอมล และ ตวกลางของแตละหนวยคอคาขอมลท 𝑥𝑖

6


ดงตวอยาง โครงสรางขายงานในรปท 7.4 และ การแบงพนทขอมลโดยใชถวยครอบ ซงจะครอบทกๆ จดขอมล ดงรปท 7.5 จะเหนวามจ านวนจดขอมล 8 จด และจ านวนถวยครอบกม 8 ถวยดวยเชนกน ขอเสยคอ จ านวนถวยครอบคอนขางมาก เกนความจ าเปน

รปท 7.4 ขายงาน Regularization Network โดยทวไป

รปท 7.5 (ก) พนทขอมลเมอใช

ขายงาน Regularization Network

รปท 7.5 (ข) พนทขอมลเมอใชขายงาน Regularization Network

7.6 ขายงาน Generalize Regression Neural Networks (GRNN) เนองจาก Regularization RBF มขอเสยทตองใชจ านวนถวยครอบจ านวนมาก ท าใหเกดปญหาทตามมาคอ (1) มฟงกชนทตองค านวณจ านวนมาก (2) เอาทพทของ RBF เหลานน เมอน ามาสรางเปนเมตรกซแลวมกจะไดเมตรกซทมเงอนไขไมด (ill-condition) สงผลเสยตอการหาคาน าหนก นกวจยหลาย

7


ทานจงไดเกดแนวคดในการใชถวยครอบทใหญขน จะไดใชครอบสวนของขอมลทควรจะอยในกลมเดยวกน ท าใหลดจ านวนฟงกชนทตองค านวณลงและยงท าใหไดเมตรกซทมเงอนไขดอกดวย โดย Generalize Regression Neural Network (GRNN) เปนขายงานประสาทเทยมชนด RBF ทใช green function ดงน

𝐺 𝑥; 𝑐𝑖 = exp −1

2𝜎2 𝑥 − 𝑐𝑖

2 (7.8)

ดงนนจงได

𝐹 𝑥; 𝑐𝑖 = 𝑤𝑖𝑝<𝑛𝑖=1 exp −

12𝜎2 𝑥 − 𝑐𝑖

2

exp −1

2𝜎2 𝑥 − 𝑐𝑖 2

𝑝<𝑛𝑖=1

(7.9)

เมอ 𝑐𝑖 คอคากลางของแตละนวรอนในชนซอน 𝑝 คอจ านวนนวรอนในชนซอน และมจ านวนนอยกวาจ านวนขอมล 𝑛 เพราะวาแตละนวรอนจะท างานกบขอมลหลายตว ถาหากการหาคากลางนนไดมาจากขนตอนวธการจดกลม (clustering) แลว 𝑐𝑖 จะหมายถงคากลางของกลมนนเอง สงผลใหจ านวนของโหนดในชนซอนเทากบจ านวนกลมของขอมลและตองนอยกวาจ านวนตวอยางขอมลทงหมด 𝜎 แสดงถงขนาดความกวางของแตละนวรอนซงโดยปกตแลวจะมความสมพนธกบการกระจายของขอมลในกลมยอยทนวรอนนนด าเนนการอย ในเมอขายงานประกอบดวยหลายๆนวรอน 𝜎 กมหลายคาไดโดยแยกเปนแตละ 𝜎𝑖 ประจ าแตละ 𝑐𝑖 ถาจะพจารณายอยลงไปในระดบมตขอมล กสามารถยอยเปน 𝜎𝑖𝑗 ของแตละมตไดเลยทฤษฎการวเคราะหกมสวนเอยวจากหลายสาขา เชน สถตจะมการพจารณาถง “Bandwidth” ของแตละฟงกชน ทฤษฎฟซซลอจก จะมการพดถงการสรางฟงกชนการเปนสมาชก แมแตในสาขาคณตศาสตรซงเปนตนก าเนดของตวแบบชนดน กจะมการกลาวถงการสรางตวแบบทดทสดส าหรบการสอดแทรกหลายตวแปรในมตสง (Multivariable interpolation in hi-dimensional space) เปนตน ดงนนเมอศกษาตอไปจะพบวารปแบบสมการ (7.9) นนมปรากฏในหลายๆสาขาวชา วธการทจะเลอกหรอหาชดของคากลางทเหมาะสมเพอท าใหขายงานเมอใชคากลางชดดงกลาวแลวใหคาผดพลาดของการประมาณ (Approximation error) ต าๆ นนยงเปนปญหาทนาสนใจ คากลางของแตละนวรอน 𝑐𝑖 นนอาจจะหามาจากวธอนทไมใชการจดกลมอยางทยกตวอยางมาแลวกได เทคนคทใชแกปญหานไดคอนขางดไดแก กลมของเทคนคการหาคาทดทสด (Optimization techniques) ไดแก Genetic algorithm, Evolutionary algorithm หรอ วธการทาง Operation research เชน Tabu search เปนตน เรมดวยการท าการเลอกชดของคากลาง แลววดคาผดพลาดของการประมาณ (Approximation error) เมอขายงานใชคากลางชดนนแลวมคาผดพลาดในระดบทนาพอใจเมอวดดวยมาตรวดอยางใดอยางหนงทผสรางตวแบบเปนผเลอก คากลางชดนนกจะถกยอมรบใหใชงานได มฉะนน กระบวนการเลอกคากลางกตองด าเนนการ

8


ตอไป แตเทคนคการหาคาทดทสดนนอยนอกเหนอจากหนงสอเลมน ผอานสามารถอานไดจากบทความหรอหนงสอเกยวกบเทคนคทกลาวถงได

Moody และ Darken (1989)[20] อธบายวาการท าคาเอาทพทของโหนดในชนซอนใหเปนมาตรฐาน (normalization) กอนทจะสงไปรวมยงชนเอาทพท นนเกดจากแนวคดทวาแตละนวรอนในชนซอนควรจะรวานวรอนอนๆสงคาอะไรออกมาบาง สงทนาสนใจส าหรบสมการ (7.10) คอ ผลของการท าใหเปนมาตรฐาน เหมอนการหาคาเฉลยแบบถวงน าหนกแบบหนง โดยทคาทถกน ามาเฉลยคอคาน าหนกทอยระหวางชนซอนและชนเอาทพท สวนการใหน าหนกหรอความส าคญจะมาจากคาทเรยกวา Output activity ของแตละนวรอนในชนซอน การนท าใหน าหนกของขายงานและคาเอาทพทของนวรอนในชนซอนสลบหนาทกน ซงในขายงาน RBF ปกต คาน าหนกจะแสดงถงความแรงจากกจกรรมทเกดขนจากนวรอนซงมผลตอคาเอาทพทนน แตใน NRBF กจกรรม (activity) ทเกดขนจากนวรอนในชนซอนจะเปนตวก าหนดวาคาน าหนกใด (ซงเชอมตอระหวางนวรอนในชนซอนกบโหนดเอาทพท ) ควรจะมผลตอคาเอาทพทมากทสด ในกรณทแตละนวรอนใชฟงกชน RBF ทมความเอยงมาก เมอมขอมลปอนเขามาจะมนวรอนจ านวนนอยทตอบสนองตอขอมลแตละตว สมมตวามเพยงนวรอนเดยวท active คาเอาทพทของขายงานจะเทากบคาน าหนกทเชอมตออยกบนวรอนนนไ มวานวรอนนนจะใหคา Output activity เปนระดบใด ทงน NRBF จะเปรยบเสมอน “indicators” ไมใช “basis function” อยาง RBF ปกต นอกจากน NRBF ยงเหมอนกบ fuzzy inference systems (Jang & Sun, 1993[19], Andersen et al., 1998 [17]) ซงในระบบดงกลาว normalization ถกใชเปนหลกในการคด "centre of gravity defuzzification” (COA) (Brown and Harris, 1994, pp 388-404[18]) นอกจากน normalization ในสมการ (7.10) นน ท าใหเกดการเลอกไดวาจะใหน าหนกใดเปนคาเอาทพท ซงขยายหลกการเปนการใหเอาทพทเปนฟงกชนได เชน (Shao et al., 1993[21]) ใหคาเอาทพทเปนการรวมกนของฟงกชนเชงเสนทใหน าหนกโดย activity ของโหนดในชนซอน 7.6.1 สถาปตยกรรมของ GRNN GRNN ประกอบดวย 4 ชน ไดแก -Input layer ท าหนาทรบขอมลเขา แตละโหนดเชอมตอกบทกโหนดในชนถดไป (Pattern layer) -Pattern layer มหนงนวรอนส าหรบขอมล 1 คา และท าหนาทเชนเดยวกบ RBF ปกต (วดความตาง ของขอมลเขากบขอมลทเกบไว) -Summation layer ประกอบดวยนวรอนสองประเภท ไดแก - S-summation neurons compute the sum of the weighted outputs of the pattern layer.

- D-summation neuron computes the sum of the unweighted outputs of the pattern neurons. -Output layer ท าการหารแตละคาของ S-summation neuron ดวยคาเอาทพทของ D-summation neuron.

9


แผนภาพสถาปตยกรรมของ NRBF แสดงดงรป 7.6

Input

Layer

Pattern

Layer

Summation

Layer

Output

Layer

X1

X2

:

Xn

:

Y1

:

Yn

::S

S

D

รป 7.6 ขายงาน NRBF

7.6.2 การสอนขายงาน GRNN

อาจกลาวไดวาเอาทพทของ GRNN คอ conditional mean of y given X (a.k.a. regression of y on X) (see Specht (1991) for details): ดงสมการ

exp

exp

Y

W

T t

j

T

t

j

T

D

D

2

21

2

21

2

2

โดยท exponential function ของฟงกชนขางบนคอ Gaussian function ทม เปน width parameter การค านวณฟงกชน Gaussian ถกกระท าใน pattern layer การคณของคาน าหนกและการบวกจะท าใน summation layer และการหารจะท าท output layer การเรยนรของ NRBF จะมาใชวธแบบวนรอบเชน MLP แตจะเรยนรโดยการเกบขอมลเขาไวใน pattern layer และค านวณคาน าหนกใน summation layer ดงตวอยางทจะแสดงใหเหนตอไป

7.6.3 ตวอยางการเรยนรของ GRNN Input vector: ประกอบดวยขอมล 7 คา xT = [-10 -6.7 -3.3 0 3.3 6.7 10]

Target Function: y x x x 1

2

1

53 203 2

เรมขนตอนการเรยนรของ NRBF โดยก าหนดให = 2

10


- ท pattern layer คาน าหนกจะถกก าหนดใหมคาเทากบขอมลเขา เสมอนหนงวาท าหนาทเปน receptive field centers: W Xp

T = [-10 -6.7 -3.3 0 3.3 6.7 10] - ท summation layer เมตรกซของคาน าหนก (weights matrix) จะถกก าหนดโดย training target outputs แลวตอขยายดวยเวกเตอรทมคาเปน 1 ทใชเชอมตอระหวาง pattern layer กบ D- summation neuron: -20.0000 1.0000

16.0838 1.0000 25.9252 1.0000 W Ys [ ] ones = 20.0000 1.0000 9.7189 1.0000 5.9602 1.0000 20.0000 1.0000

- เอาทพทของ pattern unit จะไดจากการกรองขอมลเขาดวย Gaussian functions

1.0000 0.0657 0.0000 0.0000 0.0000 0.0000 0.0000 0.0657 1.0000 0.0556 0.0000 0.0000 0.0000 0.0000 0.0000 0.0556 1.0000 0.0657 0.0000 0.0000 0.0000 Pattern Layer Output = 0.0000 0.0000 0.0657 1.0000 0.0657 0.0000 0.0000 0.0000 0.0000 0.0000 0.0657 1.0000 0.0556 0.0000 0.0000 0.0000 0.0000 0.0000 0.0556 1.0000 0.0657 0.0000 0.0000 0.0000 0.0000 0.0000 0.0657 1.0000 -เอาทพทของ summation layer ไดจากการคณเมตรกซ Pattern Layer Output และ Summation Layer Weights Matrix ดงน : Summation Layer Out = (Pattern Layer Output )*Ws

-18.9428 1.0657 16.2107 1.1213 28.1331 1.1213 Summation Layer Out = 22.3425 1.1314 11.3650 1.1213 7.8148 1.1213 20.3918 1.0657 -เอาทพทของขายงาน GRNN จะไดจากการหารคาในคอลมนแรกของ Summation Layer Output

11


ดวยคาในคอลมนทสอง -17.7746 14.4571 25.0893 Network Response = 19.7468 10.1354 6.96940 19.1342

กราฟแสดงคาเอาทพทของขายงาน GRNN เมอเทยบกบฟงกชนเปาหมาย y x x x 1

2

1

53 203 2

แสดงในรป 7.7

รปท 7.7

เมอทดลองเปลยนคา จะพบวาการเลอกคาไมเหมาะสมจะสงผลตอคณภาพของตวแบบทได - ถา มคาเลกเกนไปท าใหการ recall ด แตการวางนยโดยทวไป (generalization) ไมด ดงแสดงในรป 7.8 - ถา มคาใหญเกนไปท าใหการ recall ไมด แตการวางนยโดยทวไป (generalization) ด ดงแสดงในรป 7.9

-10 -8 -6 -4 -2 0 2 4 6 8 10-20

-15

-10

-5

0

5

10

15

20

25

30

Input

Outp

ut

"x" -> predicted values

"o" -> target values

GRNN Function Approximation, width=2

12


รปท 7.8

รปท 7.9

7.7 ตวอยาง RBF Network ทวไป

ตวอยางโครงสรางขายงานแสดงในรปท 7.10 และ การแบงพนทขอมลโดยใชถวยครอบ ซงจะครอบกลมของขอมล ดงรปท 7.11 และจากรปท 7.11 จะเหนวา มถวยครอบ 2 ใบ แสดงวา มจ านวนกลม อย 2 กลม

-10 -8 -6 -4 -2 0 2 4 6 8 10-20

-15

-10

-5

0

5

10

15

20

25

30GRNN Function Approximation, width = 0.5

Input

Outp

ut

-10 -8 -6 -4 -2 0 2 4 6 8 10-20

-15

-10

-5

0

5

10

15

20

25

30GRNN Function Approximation, width = 5

Input

Outp

ut

13


รปท 7.10 ตวอยางขายงาน RBF Network โดยทวไป

รปท 7.11(ก) ตวอยางพนทขอมลเมอใชขายงาน RBF Network

รปท 7.11(ข) ตวอยางโครงสรางขายงาน RBF Network

7.8 กลยทธการเรยนรขายงาน RBF ทวไป

กลยทธในการเรยนรขายงาน RBF แบงเปน 2 แบบคอ การเรยนรขายงาน RBF แบบก าหนดคากลางคงท (Fixed Centers) และ การเรยนรขายงาน RBF แบบไมก าหนดคากลางทคงท (Unfixed Centers) 7.8.1 การเรยนรขายงาน RBF แบบก าหนดคากลางคงท (Fixed Centers) การเรยนรทเรมตนมการก าหนดคากลางโดยการสมจากตวอยางขอมลสอน คาเรเดยลเบสส ซงมคากลางท 𝑐𝑖 คอ

𝐺 𝑥; 𝑐𝑖 = exp −𝑁1

𝑑2 𝑥 − 𝑐𝑖

2 (7.11)

ซง 1 ≤ 𝑖 ≤ 𝑁1

14


ค านวณคา เบยงเบนมาตรฐานไดจาก σ =𝑑

2𝑁1 เมอ 𝑝 = จ านวนคากลาง , 𝑑 =

คาระยะทางทมากทสดของระยะทางจากขอมลถงคากลางแตละกลม เมอก าหนดคากลางเรยบรอยแลว ดงนนจงเหลอเพยงการเรยนรขายงานโดยการปรบคาน าหนกในชนเอาทพตเทานน

𝐺 = 𝑔𝑗𝑖 (7.12)

𝑔𝑗𝑖 = exp −𝑝

𝑑2 𝑥𝑗 − 𝑐𝑖

2 (7.13)

เมอ

1 ≤ 𝑖 ≤ 𝑁1 𝑁1 = จ านวนโหนดชนซอน , 1 ≤ 𝑗 ≤ 𝑚 (𝑚 =

จ านวนขอมลสอนทงหมด) จากสมการ

𝐹 𝑥𝑗 ; 𝑐𝑖 = 𝑤𝑖

𝑝

𝑖=1

exp −𝑁1

𝑑2 𝑥𝑗 − 𝑐𝑖

2

(7.14)

เมอแทนคาสมการ (7.12) ใน (7.13) คอ

𝐹 𝑥𝑗 ; 𝑐𝑖 = 𝑤𝑖

𝑝

𝑖=1

𝑔𝑗𝑖 (7.15)

จะไดสมการการหาคาน าหนกดงน

𝑔11

⋮𝑔𝑚1

𝑔12

⋮𝑔𝑚2

…⋯…

𝑔1𝑁1

⋮𝑔𝑚𝑁1

𝑤1

𝑤2

⋮𝑤𝑁1

=

𝑑1

𝑑2

⋮𝑑𝑚

(7.16)

เมอให 𝐷 = 𝑑1 𝑑2 …𝑑𝑚

T แทน คาเซทขอมลจรง

𝑊 = 𝑤1 𝑤2 …𝑤𝑁1𝑝 T

แทนคา เซทของน าหนก

15


GW = D (7.17)

ถาในกรณท จ านวนขอมล มากกวาคาตวแปร จะเกดปญหาในการแกสมการหาคา W ดงนนจะหาคาน าหนก จะแกสมการโดยใชวธการหา pseudo-inverse

GTG W = GTD (7.18)

น า GTG −1มาคณทงสองขางเพอใหเทอมดานซายเหลอเพยง 𝐈W = 𝐖

GTG −1 GTG W = GTG −1GTD (7.19)

ดงนนจงสามารถค านวณคาน าหนกไดจาก

W= GTG -1GTD (7.20)

ซง เทอมของ GTG −1GT ถกเรยกชอวา เปน pseudo-inverse ของ G แตถา GTG เปนเมตรกซเอกฐานค าตอบทไดจะไมด สวนวธการทใชการหาค าตอบแบบวนรอบ (iterative process) เชนเคลอนลงตามความชนนน กสามารถน ามาใชหาคาน าหนกทชนนไดเชนเดยวกน และมขอดตรงทไมตองระมดระวงเกยวกบสมบตของ GTG วธการทสามารถหาค าตอบของสมการในรปแบบนไดด จะน าเสนอในบทท 12 ตอไป 7.8.2 การเรยนรขายงาน RBF แบบไมก าหนดคากลางทคงท (Unfixed Centers) การเรยนรแบบไมก าหนดคากลางทคงท นนหลกการทส าคญคอจะตองหาจ านวนกลม และตวกลางของแตละกลม ความหมายกคอ จะตองมถวยครอบกถวยและจดกลางของถวยนนอยทต าแหนงใด จ านวนถวยหรอจ านวนกลมจะบอกถงจ านวนนวรอนในชนซอน หลงจากนนกจะท าการเรยนรเพอปรบคาน าหนกในชนเอาทพตของขายงาน โดยรวมแลวมการท างานอยสองสวน สวนแรกคอการท างานในชนซอน ซงจะตองหาจ านวนกลม และตวกลางของแตละกลม ส าหรบในทน จะใชขนตอนวธ K-Means ซงจดเปนขนตอนวธแบบไมมผสอน (Unsupervised Training) ในการแบงกลมของขอมลอนพต ขนตอนวธ K-Means ถอวาเปนวธการท า clustering ทงายทสดและเปนทนยมใชมากวธหนง มขอเสยคอ ถาใชกบปญหาทยากหรอขอมลมความซบซอนมากๆ ความถกตองอาจจะยงไมมากนก แตกสามารถท างานไดในระดบหนง แตขอด

16


คอเขาใจงาย ไมซบซอนและค านวณไดงายมาก เปนพนฐานของขนตอนวธทซบซอนขน เชน การจดกลมแบบ Fuzzy c-Mean เปนตน สวนทสองคอการท างานในชนเอาทพต จะท าการเรยนรเพอปรบคาน าหนกในชนเอาทพตของขายงาน ส าหรบในบทน ใชวธการเรยนรแบบแกไขขอผดพลาด (Error Correction Learning) หรอ LMS สมการทใช มดงน คอ ส าหรบในชนซอนจะตองมการค านวณ หาเอาทพตจากแตละโหนดในชนซอน ดงน

𝑈𝑗 1 =exp

− 𝑋 − 𝑤𝑗 1

T 𝑋 − 𝑤𝑗

1

2𝜎𝑗2

(7.21)

เมอ 𝑈𝑗 1 = คาผลลพธของ โหนดหรอนวรอนท 𝑗 ในชนซอน (ชนท 1)

𝑤𝑗 1 = คากลางของ โหนดหรอนวรอนท 𝑗 ในชนซอน

และ 𝜎𝑗 = คา normalized parameter ของ โหนดหรอนวรอนท 𝑗 ในชนซอน โดยค านวณ

𝜎𝑗2=

1

𝑞𝑗 𝑋 − 𝑤𝑗

1 T 𝑋 − 𝑤𝑗

1

𝑋∈𝜃𝑗

(7.22)

เมอ 𝑞𝑗 = จ านวนขอมลทอยในกลม 𝜃𝑗 ของ โหนดหรอนวรอน 𝑗 ทอย ในชนซอน

𝜃𝑗 = เซทของขอมลทถกจดกลมโดยมคากลางคอ 𝑤𝑗 1

ล าดบถดไปจะไดกลาวถงขนตอนวธการเรยนรของทงสองสวนคอ ขนตอนวธการเรยนรส าหรบชนซอนและ ขนตอนวธการเรยนรส าหรบชนเอาทพต 7.5.2.1 ขนตอนวธการเรยนรส าหรบชนซอน(ชนท 1) ดวยขนตอนวธ K-Mean ก าหนดชดขอมล เวคเตอรฝกสอน และคาเปาหมาย 𝑥𝑖

ขนตอนท 1 สมคาเรมตนใหกบ คากลางของกลม (cluster center) (𝑤𝑗 1 , 1 ≤ 𝑗 ≤

𝑁1 ) ขนตอนท 2 ท าซ า (3-5) จนกระทงถงเงอนไขท คากลางทไดไมมการเปลยนแปลงแลว ขนตอนท 3 คดเลอกสมาชกของกลมแตละกลม

โดยท าซ าทกขอมลเขา 𝑥𝑖 1 ≤ 𝑖 ≤ 𝑚 ค านวณคาระยะทางแบบยคลเดยน ระหวางอนพตแตละตวกบคากลางแตละคา

17


แลวท าการหยบขอมล 𝑥𝑖 นนไปใสไวเปนสมาชกในกลม 𝜃𝑗 ซงมระยะทางระหวางอนพตกบคากลางตวท j ทนอยทสด นนคอจดใหอนพตนนอยในกลมซง

𝑗 = argmin𝑗

𝑥𝑖 − 𝑤𝑗 1

ขนตอนท 4 ค านวณคากลาง ค านวณคากลางส าหรบแตละกลมใหม โดยเฉลยจากขอมลทเปนสมาชกของกลม

นนๆ ทกๆ 𝑤𝑗 1 ท า

𝑤𝑗 1 =

1

𝑞𝑗 𝑥𝑖𝑥𝑖∈𝜃𝑗

ขนตอนท 5 กลบไปท าซ าขนตอนท 2 ขนตอนท 6 ค านวณเอาทพตจากชนซอน

ค านวณ σ และ คาเอาทพต 𝑈𝑗 1 ของแตละโหนดชนซอน ตามสมการท

(7.20) และ (7.21) เพอเปนอนพตใหกบชนเอาทพตตอไป 7.8.2.1 ขนตอนวธการเรยนรส าหรบชนเอาทพต(ชนท 2) การหาคาน าหนกทชนเอาทพตนนสามารถค านวณไดหลายวธเชน แกสมการเชงเสนหรอใชวธการเรยนรแบบแกไขขอผดพลาดหรอกฎเดลตาเชนเดยวกบการหาคาน าหนกทชนเอาทพตของขายงานชนด MLP หรอใชการแกสมการเชงเสนกสามารถท าไดเชนกน ขอแตกตางทชน เอาทพตระหวางขายงานชนด MLPและขายงาน RBF คอ โดยปกตแลวขายงาน RBF จะไมใช Activation function ทชนเอาทพต แตส าหรบขายงานชนด MLP แลวโดยปกตจะม Activation function แบบ non-linear ปรากฏอย แตในบางปญหากสามารถตดออกไดเชนเดยวกนกบขายงาน RBF ขนตอนวธตอไปนจะเปนการปรบคาน าหนกดวยกฎเดลตา สวนการหาคาน าหนกโดยวธการแกสมการเชงเสนจะแสดงดวยตวอยางรหสโปรแกรม MATLAB

ชดขอมลคอ คาเอาทพต และคาเปาหมายจรง (𝑈𝑗 1 ,𝑑𝑗 )

ขนตอนท 1 สมคาเรมตนใหกบ คาน าหนก (𝑤𝑗 2 , 1 ≤ 𝑗 ≤ 𝑁2)

ขนตอนท 2 ท าซ า (3-5) จนกระทงถงเงอนไขใหหยด

18


ขนตอนท 3 ค านวณผลรวมคาถวงน าหนกของอนพต ค านวณทก 𝑗

𝑦𝑖 = W𝑗 2 ∙ 𝑈𝑖

ขนตอนท 4 ค านวณคาความผดพลาด ค านวณทก 𝑗

𝑒𝑗 = 𝑦𝑗 − 𝑑𝑗

ขนตอนท 5 ปรบคาน าหนก โดยใชคาเคลอนลงตามความชน

W𝑗 2 𝑘 + 1 = W𝑗

2 𝑘 + 1 − 𝜂 ∙ 𝑒𝑗 ∙ 𝑈𝑖 ขนตอนท 5 กลบไปท าซ าขนตอนท 2

function [features, targets, label] = k_means(train_features, train_targets, Nmu, region, plot_on) %Reduce the number of data points using the k-means algorithm %Inputs: % train_features - Input features % train_targets - Input targets % Nmu - Number of output data points % region - Decision region vector: [-x x -y y number_of_points] % plot_on - Plot stages of the algorithm % %Outputs % features - New features % targets - New targets % label - The labels given for each of the original features if (nargin < 5), plot_on = 0; end

19


[D,L] = size(train_features); dist = zeros(Nmu,L); label = zeros(1,L); %Initialize the mu's mu = randn(D,Nmu); mu = sqrtm(cov(train_features',1))*mu + mean(train_features')'*ones(1,Nmu); old_mu = zeros(D,Nmu); switch Nmu, case 0, mu = []; label = []; case 1, mu = mean(train_features')'; label = ones(1,L); otherwise while (sum(sum(mu == old_mu)) == 0), old_mu = mu; %Classify all the features to one of the mu's for i = 1:Nmu, dist(i,:) = sum((train_features - mu(:,i)*ones(1,L)).^2); end %Label the points [m,label] = min(dist); %Recompute the mu's for i = 1:Nmu, mu(:,i) = mean(train_features(:,find(label == i))')';

20


end if (plot_on == 1), plot_process(mu) end end end %Make the decision region targets = zeros(1,Nmu); if (Nmu > 1), for i = 1:Nmu, if (length(train_targets(:,find(label == i))) > 0), targets(i) = (sum(train_targets(:,find(label == i))) / … length(train_targets(:,find(label == i))) > .5); end end else %There is only one center targets = (sum(train_targets)/length(train_targets) > .5); end features = mu; K-mean Algorithm

function [D, mu, Wo] = RBF_Network(train_features, train_targets, Nh, region) % Classify using a backpropagation network with a batch learning algorithm % Inputs:

21


% features- Train features % targets - Train targets % Nh - Number of hidden units % region - Decision region vector: [-x x -y y number_of_points] % % Outputs % D - Decision sufrace % mu - Hidden unit locations % Wo - Output unit weights [Ni, M] = size(train_features); sigma = sqrt(Ni/sqrt(2*M)); %Variance of the gaussians %First, find locations for the hidden unit centers using k-means [mu, center_targets, label] = k_means(train_features, train_targets, Nh, region, 0); %Compute the activation for each feature at each center Phi = zeros(Nh, M); for i = 1:Nh, Phi(i,:) = 1/(2*pi*sigma^2)^(Ni/2)*exp(-sum((train_features - … mu(:,i)*ones(1,M)).^2)/(2*sigma^2)); end %Now, find the hidden to output weights using pseudo-inverse, eq. 7.19 Wo = (Pinv(Phi)'*(train_targets*2-1)')'; %Build a decision region N = region(5); mx = ones(N,1) * linspace (region(1),region(2),N); my = linspace (region(3),region(4),N)' * ones(1,N); flatxy = [mx(:), my(:)]';

22


Phi = zeros(Nh, N^2); for i = 1:Nh, Phi(i,:) = 1/(2*pi*sigma^2)^(Ni/2)*exp(-sum((flatxy-mu(:,i)*ones(1,N^2)).^2)/(2*sigma^2)); end D = reshape(Wo*Phi>0,N,N);

7.8.3 ขนตอนวธการเรยนรแบบ Gradient descent แลวเทคนคการเรยนรตางๆทในบทกอนๆนสามารถน ามาใชในการหาชดคากลางไดหรอไม

กอนตอบค าถามน จะเรมดวยการพจารณาวามสงใดทสามารถปรบคาไดและเปาประสงคของการปรบคานนคออะไร สมมตวาโครงสรางของขายงานถกก าหนดไวแลว และตองการวดคณภาพของโครงขายดวย ความผดพลาดก าลงสอง (square error) 𝐸 𝑛 = 𝑒2(𝑛) เมอ 𝑒 = 𝑑 − 𝑦 หมายถงคาความแตกตางของคาเปาหมายกบคาเอาทพตของขายงาน องคประกอบของขายงานหรอ คาพารามเตอรทสามารถปรบคาไดคอ 𝑐𝑖 𝜎 หรอ 𝜎𝑖 และ 𝑤𝑘𝑗 เปาประสงคของการปรบคาตางๆคอ ตองการใหระบบลดความผดพลาดก าลงสองใหเหลอนอยทสด และเนองจาก 𝐸 𝑛 เปนสมการก าลงสอง และ 𝑦 = 𝐹 𝑥; 𝑐𝑖 เปนฟงกชนตอเนอง สามารถหาคาอนพนธไดทกจด ค าตอบทดทสดคอ คาพารามเตอรทให 𝐸 𝑛 มคาต าสดสามารถหาไดจากสตรของการปรบคาพารามเตอรในทศเคลอนลงตามความชน ไดดงน

𝑐𝑖 𝑛 + 1 = 𝑐𝑖 𝑛 − 𝜂𝑐∇𝑐𝑖𝐸 𝑛

𝜎𝑖 𝑛 + 1 = 𝜎𝑖 𝑛 − 𝜂𝜎∇𝜎𝑖𝐸 𝑛

𝑤𝑘𝑗 𝑛 + 1 = 𝑤𝑘𝑗 𝑛 − 𝜂𝑤∇𝑤𝑘𝑗 𝐸 𝑛

(7.23)

เมอ 𝑛 คอ จ านวนรอบทเรยนร 𝜂𝑧 คออตราการเรยนร (Learning rate) ∇z𝐸 𝑛 จะแสดงถงทศทางของเกรเดยนทอยในทศเคลอนขนตามความชน (Gradient ascent) ของ 𝐸 𝑛 ซงสามารถค านวณไดจากการหาอนพนธ 𝐸 𝑛 เทยบกบแตละพารามเตอรของขายงาน จะเหนไดวากระบวนการดงกลาว กเหมอนกบการประยกตใชกฎเดลตาส าหรบการเรยนรของ RBF นนเอง ผอานสามารถใชความรในบทกอนๆหาค าตอบได

7.9 สรป

23


ส าหรบในบทน ไดกลาวถงขายงาน RBF สถาปตยกรรมของขายงาน ขายงานแบบ Regularize RBF ขายงานแบบ Generalized RBF กลยทธในการเรยนรขายงาน ซงม สองแบบคอ แบบก าหนดคากลางคงท(Fixed-Center) และแบบสอง คอไมก าหนดคากลางทคงท (Unfixed Center) และขนตอนวธในการเรยนรขายงาน อยางไรกตามถงแมวา ขายงาน RBF จะสามารถใชงานไดดกบปญหาแบบไมเปนเชงเสน(Non-linearly separable) ไดมากขน แตการใชขายงาน RBF นน กยงมปญหาในเรองของการก าหนดจ านวน ฟงกชน(ถวยครอบ) ทเหมาะสมวาควรจะมจ านวนเทาไร และการหาจดศนยกลางของถวยกยงเปนขอสงสยวาตวกลางทไดนนเปนคากลางจรงจรงของกลมหรอไม 7.10 แบบฝกหดทายบท 7.10.1 ใหออกแบบขายงาน GRBF (Generalized RBF) ส าหรบปญหา XOR พรอมทงแสดงวธการค านวณในการเรยนรขายงาน มาโดยละเอยด 7.10.2 จากขอ 7.7.1 .ใหเขยนโปรแกรม MATLAB เพอการเรยนรขายงาน GRBF (Generalized RBF) ส าหรบปญหา XOR

Documents

7-RBF