1

類神經網路之原理與應用Basic concepts and applications

of artificial neural networks

魏健宏魏健宏

成功大學交通管理科學系成功大學交通管理科學系

20042004年年88月月1919日日

2

程序性認知vs.形態性認知

3

4

5

6

Fundamentals of Artificial Neural Networks

Definition of ANNs

Common key words：– computing, mathematical model, information

processing system, element, connection

Other names：– PDP, Connectionism, Neurocomputing, ...

Characteristics：– computer-based, different from conventional

computing, very simple processing element, parallel processing, real time, information flow direction, problem specific, adaptive

7

A computing system made up of a number of simple, highly interconnected processing elements, which processes information by its dynamic state response to external inputs.人工神經網路是一種模仿生物神經網路功能的資訊處理系統。其基本元件可接收、處理、並傳遞各類資訊，藉適當的連接組合，它能顯示與生物腦類似的功能。

8

9

10

11

12

13

Processing ElementThe simplest element of ANNs, also named as artificial neurons, nodes.

Approximately model three basic processes, among 150 processes in human brain1. Evaluate input signals (strength and sign)

2. Calculate a total and compare to some threshold level

3. Determine the output

14

Neuron Functions

1. Summation function：integrate inputs

2. Activation function：allow outputs to vary with respect to time

3. Transfer function：introduce nonlinearities into ANNs

4. Learning function：local memory to modify its behaviour in response to inputs

15

16

17

轉換函數之參數

18

Appropriate TasksTasks appropriate for ANN are ones human knows how to do. However, ANN may excel some tasks that humans have great difficult doing well.

Eg. Image recognitionAuto-associative: a partial image leading to the complete version. Improvement on the inputs is obtained. E.g., identifying an obscured object, given only a few key words, association with some characteristics.Hetero-associative: an object identified from distorted or disoriented inputs. E.g., seeing a target from different angles, recognizing someone in disguise, signature verification.

19

多層網路之判別能力

20

TerminologiesAbstraction

Adaptability

Association

Dynamics

Generalization

Learning

Redundancy

Self-Organization

Structure

21

22

人工神經網路系統與人工智慧系統之比較

相似處

皆為電腦科學與資訊處理科學之重要支系

共同的目標為建立智慧型運算機器

理論的起源都是為了探索人類智慧的本性，並將人類推論（Reasoning）的能力予以模式化。

23

人工神經網路 人工智慧

♦著眼於腦如何發揮功能，嘗試去模擬生物學。

♦”由下往上”（Bottom-up）過程，藉著經驗法則化，獲致學習成果（或智慧）。

♦具有自我學習能力，掌握資訊內涵特性。

♦能有效處理新式或前所未見事物（Novelty）♦具有歸納性功能♦第六代電腦♦最簡單的處理元件即可產生作用，層級建構可益增其功能。

♦主要在探討腦做了什麼，模擬心理學理論。

♦”由上往下”(Top-down)過程，智慧必須編定成特定規則（ExplicitRules）。

♦僅適用於狹隘、明確定義的範疇。

♦陳述必須明確，不確定或不完整的資訊難以有效利用。

♦適用演繹性工作♦第五代電腦♦智慧的架構必須作先期的佈局，且多為循序性。

相異處

24

人工神經網路系統與專家系統的比較相似處 兩者皆有儲存知識的功能，都有學習的程序

相異處 專家系統的目的在於推論吾人所知道的事務，並循序按步將此知識實 踐；ANN則偏重於探索吾人何以知曉事務，以及事務所蘊藏的知識。

專家系統 人工神經網路

近似於左腦邏輯推理功能（Logic Functions）長於認記符號（Symbols）程序性啟發過程（Heuristics）藉法則（Rules）學習教導式(didactical)學習僅適用於人類智能範圍內資訊模式必須重新編排（Reprogram）以容納新資料

近似於右腦型態感知功能（Gestalt Functions）長於辨識功能（Patterns）平行式動態過程（Dynamics）論證式(Socratic)學習藉範例（Examples）學習可接納各式資訊僅需針對新資料進行訓練

25

26

類 神 經 網 路 科 技

處理問題

計算機程式 類 神經網路人工智慧

緊密連接且互動

學術界

基礎設施計算能力

人力 組織網路資源

人工智慧實驗室

研究與發展

27

Hopfield-Tank 模式求解最佳化問題

28

Self-Organizing Map基本架構

29

SOM鄰近單元之調整

30

SOM之電腦模擬

類神經網路之原理與應用Basic concepts and applications of artificial neural networks程序性認知vs.形態性認知Fundamentals of Artificial Neural NetworksProcessing ElementNeuron Functions轉換函數之參數Appropriate Tasks多層網路之判別能力Terminologies人工神經網路系統與人工智慧系統之比較人工神經網路系統與專家系統的比較Hopfield-Tank 模式求解最佳化問題Self-Organizing Map基本架構SOM鄰近單元之調整SOM之電腦模擬