+

漫談人工智慧

+神經元 (neuron) 示意圖

+神經元間的溝通之處突觸 (synapse)

+跳耀式傳導 (saltatory conduction)

+動作電位 (action potential)

+皮質柱 (Cortical Column)相同的接受域 (receptive field)

+聯結體 (connectome)神經系統連接線路圖

+長期增益作用 (long-term potentiation, LTP)刺激輸入神經元而發生在突觸前神經元和突觸後神經元信號傳輸產生一種持久的增強現象。

+海柏學習法則(Hebb’s learning rule)突觸前神經元向突觸後神經元持續重複的刺激，使得神經元之間的突觸強度增加。

+人工神經元模型

+常用激活函數 (activation function)Sigmoid function

+常用激活函數Softmax function

+常用激活函數Hyperbolic tangent

+常用激活函數Rectified linear unit (ReLU)

+感知機 (perceptron) 模型

+多層感知機(multi-layer perceptron)

+卷積神經網路(convolutional neural networks)

+卷積神經網路(convolutional neural networks)

+卷積神經網路Convolutional layer

Depth (D): filter ( 或稱 kernel) 組數 Stride (S): 每一次 kernel 移動的間隔 Zero padding (P): 每一輸入邊緣填

0 的寬度若以 W 表示輸入寬度大小， F 表示

filter 寬度大小， 卷積運算後 feature map 的寬度大小公式為：

D 個 [(W - F + 2P) / S] + 1

+卷積神經網路Convolutional layer

+卷積神經網路Pooling layer

+卷積神經網路Local receptive field

+卷積神經網路Weight sharing

此處 w1 = w4 = w7, w2 = w5 = w8, w3 = w6 = w9

具有 translational invariance 的特性

+目標函數 (objective function) / 損失函數 (loss function) 最小化目標函數 J x* = arg min J(x) Mean square error Cross entropy

+隨機梯度下降(stochastic gradient descent, SGD)

+隨機梯度下降 (SGD)

minibatchminibatch

+倒傳遞演算法 (Back-propagation)

+神經網路模型何其多Hopfield modelSelf-organizing feature mapGrossberg NetworkAdaptive Resonance TheoryNeocognitronHierarchical temporal memoryRecurrent neural networksSpiking neural networks……

+

人工智慧機器學習 傻傻分不清楚深度學習人工智慧的未來