12
159 ホップフィールド型ニューラルネットワークにおけるパラメータの影響 The Influence of Parameter Settings on the Hopfield Neural Network Hirokazu IWASE 1.はじめに 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる 理論のニューラルネットワークは古くから研究されており,1950年代の末期から人工知能の分野で 発展してきたものである.ニューラルネットワークは人間の脳の神経細胞をモデル化したものであ り,階層型ニューラルネットワークにおける誤差逆伝播学習アルゴリズム[1]や相互結合型ニューラ ルネットワークにおける確率的探索アルゴリズムのボルツマンマシン[2]など,1980年代に次々と提 案されたアルゴリズムを発展させたものとして,制限ボルツマンマシン[3]や畳み込みニューラルネッ トワークによる人の顔認識[4]など,実用面への応用も目立つようになってきた. ところで,相互結合型ニューラルネットワークは過去の研究において学習や想起などに応用されて いるが,各問題への適用の際には試行錯誤により各種パラメータの設定が行われている. 本研究では,相互結合型ニューラルネットワークの代表的なものであるホップフィールド型ニュー ラルネットワークを巡回セールスマン問題(Traveling Salesman Problem: TSP)に適用した.その際に 二つの解法を用いて基礎的な数値実験を行い,各種パラメータが最適解の獲得にどのように影響を及 ぼすのかについて調べた. 2.ホップフィールド型ニューラルネットワーク 2.1 ニューロンの基本性質 ニューラルネットワークはニューロンを基本素子とするネットワークシステムである.あるニュー ロンiの動作を図示すると図1のようになる. Hirokazu IWASE 共通領域部(Department of General Studies)

ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

  • Upload
    others

  • View
    4

  • Download
    0

Embed Size (px)

Citation preview

Page 1: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

159

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

岩 瀬 弘 和*

The Influence of Parameter Settings on the Hopfield Neural Network

Hirokazu IWASE

1.はじめに

 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

理論のニューラルネットワークは古くから研究されており,1950年代の末期から人工知能の分野で

発展してきたものである.ニューラルネットワークは人間の脳の神経細胞をモデル化したものであ

り,階層型ニューラルネットワークにおける誤差逆伝播学習アルゴリズム[1]や相互結合型ニューラ

ルネットワークにおける確率的探索アルゴリズムのボルツマンマシン[2]など,1980年代に次々と提

案されたアルゴリズムを発展させたものとして,制限ボルツマンマシン[3]や畳み込みニューラルネッ

トワークによる人の顔認識[4]など,実用面への応用も目立つようになってきた.

 ところで,相互結合型ニューラルネットワークは過去の研究において学習や想起などに応用されて

いるが,各問題への適用の際には試行錯誤により各種パラメータの設定が行われている.

 本研究では,相互結合型ニューラルネットワークの代表的なものであるホップフィールド型ニュー

ラルネットワークを巡回セールスマン問題(Traveling Salesman Problem: TSP)に適用した.その際に

二つの解法を用いて基礎的な数値実験を行い,各種パラメータが最適解の獲得にどのように影響を及

ぼすのかについて調べた.

2.ホップフィールド型ニューラルネットワーク

2.1 ニューロンの基本性質

 ニューラルネットワークはニューロンを基本素子とするネットワークシステムである.あるニュー

ロンiの動作を図示すると図1のようになる.

* Hirokazu IWASE 共通領域部(Department of General Studies)

Page 2: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号(2017)

160

 ニューロンiへの入力は,n個のニューロンjの出力値xjに各重み係数wijを掛けたものの総和であり,

そこから閾値θiを引いたものがニューロンiへの入力uiとなる.これを式で表すと式(1)のようになる.

(1)  

 また,その出力値xiは,離散(デジタル)値の場合は1(ui≧0のとき)または0(ui<0のとき)

の値をとり,連続値の場合は式(2)に示すシグモイド型関数などが用いられる(図2参照).この

関数は0を最小値とする単調増加関数で微分可能であり,入力値が∞で最大値1をとる.

(2)  

2.2 ホップフィールド型ニューラルネットワーク

 ニューラルネットワークの構造には図3に示すように階層型ネットワーク,相互結合型ネットワー

クなどがある.図中の〇はユニットと呼ばれ,前節におけるニューロンの動作をなすものである.矢

印はユニットからの出力値の流れを表している.階層型ネットワークは入力層と出力層があり,中間

に何層かの隠れ層を含むのが一般的である(図3は3層ネットワーク).それに対して相互結合型ネッ

トワークは入力層・出力層の区別がなく,ユニット同士がお互いに結ばれている.自分自身への結合

(自己結合)を含む場合は,n個のユニットのネットワークではn2本の結合が存在する.

図1 ニューロンiへの入力uiとニューロンiの出力xi

図2 シグモイド型出力関数の例

Page 3: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

161

 本研究で扱うHopfield型ニューラルネットワークは相互結合型ネットワークであるが,自己結合を

含まず(wii = 0),結合荷重は対象的(wij = wji = 0)である.

 Hopfieldネットワークでは,各ユニットの状態を次の手順に従い非同期に更新していく.ここで非

同期の更新とは,ある時刻において更新されるのは対象となるひとつのユニットのみであることを意

味している.ただし,nはユニット数である.

〔手順1〕 対象となるユニットをひとつ選ぶ(ユニットiとする)

〔手順2〕 次式によりユニットiへの入力uiを更新する

〔手順3〕 次式によりユニットiへの入力xiを更新する

 この手順1から手順3を繰り返すことでネットワークの状態が変化し,次式に示すエネルギー Eも

変化していく.

(3)  

 これは非増加関数となるため,時刻tにおけるエネルギーを E (t ) とすると, E (t+1) ≦ E (t ) が成り

立つ.すなわち,この手順によりネットワークの状態が平衡状態(エネルギー Eが極小値をとる)に

収束していくことがわかる.

 一方,ネットワークのエネルギー Eに対して,ユニットiへの入力uiの時間変化は次の微分方程式で

表される.

(4)  

よって,この微分方程式における定常状態が解となり得る.

図3 ニューラルネットワークの構造の例

Page 4: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号(2017)

162

2.3 ルンゲ・クッタ法

 初期値の与えられた微分方程式系

 

の解であるy (xn)を近似値y (xn) = ynとして求める方法としてルンゲ・クッタ(Runge-Kutta)法が知ら

れている.特に一般的に使われているのが4次のルンゲ・クッタ法であり,次の計算手順により求め

られる.

 ただし,hは小さな区間幅とし,これを初期値x0から逐次的に計算することで,近似値y (xn)が求め

られる.

3. TSPへの適用

 巡回セールスマン問題(Traveling Salesman Problem,以下ではTSP)とは,N個の都市があり,各

都市を1度ずつ訪問して出発点に戻るとき,最短となる経路を求める問題である.訪問順序が問題の

解となるが,その場合の数は(N-1)!/2 通りである(どの都市から出発してもよく,また逆順でも

よいため).これはNが大きくなるにつれて解探索に要する時間が指数関数的に増えてしまう,いわ

ゆるNP-困難問題のひとつである.

解法1

 図4はN = 4の場合であるが,各列が訪問順序,各行が都市番号を意味している.この場合のユニッ

ト数はN×N = 16 となる.図中の数値0と1はユニットの状態であり,例えば図4の場合は「都市

3を1番目に訪問し,都市1を2番目に訪問し,都市4を3番目に訪問し,都市2を4番目に訪問す

る」ことを表している.よって,経路の順序は「3→1→4→2」となる.

Page 5: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

163

 ところで,TSPの制約条件には次のものがある.

〔条件1〕 各都市の訪問回数は1回のみ

〔条件2〕 各時点で(同時に)訪問できる都市はひとつのみ

 これに基づき,エネルギー関数Eを次のように定める.

(5)  

 ここで,A1とA2は重み係数(定数)であり,rとsは都市番号,iとjは訪問順序,Xriは「都市rの順

序がi」に相当するユニットの出力値,Drsは都市rと都市sの距離である.また,Xs (i+1) において i+1

= N+1 のときは i+1= 1とし,Xs (i-1) において i-1= 0のときは i-1= N とする.

 式(5)の右辺における第1項は条件1と条件2を満たすときに最小値0をとるための項であり,第

2項は総移動距離が最短のときに最小値をとる項である.

 ところで,式(5)と式(3)を比較すると, Wri,sj(ユニットri(都市rの順序がi)とユニットsj(都市sの順

序がj)の結合荷重)と閾値θriは次のようになる.

(6)  

(7)  

ただし,δはクロネッカーのデルタである.

 このようにして予め各結合荷重の値を決めておき,適当な初期状態から2.2節の手順1から手順3

を繰り返すことで,次第にエネルギーの低い状態へと変化し,最終的に平衡状態になり,TSPの解候

補が得られる.ただし,必ずしも最適解になるとは限らず,局所解に陥ることもある.

図4 HopfieldネットワークによるTSPの解法

Page 6: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号(2017)

164

解法2

 ここでは,ホップフィールドネットワークにおけるTSPのエネルギー Eを式(8)で表現する.

(8)  

ところで,式(4)の関係から,式(8)をXriで偏微分することで式(9)が得られる.

(9)  

本研究では,式(9)に対して4次のルンゲ・クッタ法を適用し解を求める.

4. 数値実験

4.1 解法1の結果

 まず,解法1によるホップフィールドネットワークの動作を詳細に調べるため,小規模で最適解

が明白な図5の4点データ(左図)および5点データ(右図)を使用した.4点データについては

全ての場合の数4!=24のうち8通りが最短経路であり,その一例は「P1→P3→P2→P4」である.ま

た,5点データについては全ての場合の数5!=120のうち10通りが最短経路であり,その一例は

「P1→P3→P2→P4→P5」である.

     

 ここでは,ホップフィールドネットワークのパラメータである式(5)のA1とA2を次のように設定し,

それぞれ100回ずつのシミュレーションを実施した.

A1: 1, 2, 3, …, 14, 15 の15通り

A2: 0.1, 0.2, 0.3, …, 2.9, 3.0 の30通り

 すなわち,各点データに対して15×30×100 = 45,000回のシミュレーションを行った.

 表1は4点データを対象として,各パラメータにおける100回のシミュレーションのうち,最適解(最

図5 4点データ(左図)と5点データ(右図)の配置

Page 7: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

165

短経路)の得られた割合を示している.例えば,パラメータが(A1, A2)=(2, 0.1)の場合は100回のシミュ

レーションのうち11回で最適解を獲得している.つまり,数値の大きいほど優れたパラメータの組み

合わせであることを意味している.ただし,2.6≦A2≦3.0に関しては,最適解の得られた割合がほぼ

0であったためにここでは割愛している.この結果から,A1が2≦A1≦4のように小さい場合にはA2

が大きいほど最適解が得られやすく,一方でA2が0.1≦A2≦0.5のように小さい場合にはA1が大きいほ

ど最適解が得られやすい傾向が見て取れる.

 表2は5点データを対象とした同様の結果である.ただし,1.1≦A2≦3.0に関しては,最適解の得

られた割合がほぼ0であったためにここでは割愛している.5点データの場合は4点データと比べる

と最適解の得られた割合が低いことが明らかである.その中でも比較的優れたパラメータの組み合わ

せはA1=12,かつ,0.1≦A2≦0.5といえそうである.

表1 4点データにおける最適解の得られた割合(%)

A1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A2

0.1 0 11 8 4 6 14 19 16 17 13 18 15 22 20 13

0.2 2 4 2 4 7 13 22 22 16 14 17 14 32 24 13

0.3 0 6 1 1 7 10 15 17 17 10 15 15 29 25 10

0.4 3 12 0 2 3 11 11 14 12 9 12 13 30 23 7

0.5 3 16 0 0 2 7 10 11 8 7 8 14 25 21 7

0.6 0 17 2 0 1 2 5 6 4 5 7 11 23 17 7

0.7 0 15 1 1 0 1 3 2 1 4 4 8 14 16 5

0.8 0 12 0 1 0 1 0 1 1 4 4 5 10 12 7

0.9 0 10 1 1 1 1 0 1 0 4 4 5 9 12 6

1.0 0 13 1 3 0 0 1 1 0 2 4 4 5 9 6

1.1 0 21 6 3 3 0 0 1 0 1 3 3 4 8 5

1.2 0 18 8 2 0 0 0 1 0 1 0 2 2 7 5

1.3 0 13 15 3 0 0 0 0 0 0 0 1 2 5 1

1.4 0 6 25 1 0 1 0 0 0 0 1 2 2 3 2

1.5 0 4 31 1 1 1 0 0 0 0 2 2 2 2 1

1.6 0 7 34 3 0 0 0 0 1 0 2 2 1 2 0

1.7 0 0 23 7 0 2 0 0 0 0 2 2 2 2 0

1.8 0 0 13 25 0 1 1 1 0 0 2 0 1 1 0

1.9 0 0 13 35 1 0 0 0 0 0 3 0 0 1 0

2.0 0 0 17 31 2 0 0 0 0 0 2 0 0 1 0

2.1 0 0 17 9 6 1 0 0 0 0 2 0 0 1 0

2.2 0 0 25 7 5 2 0 1 0 0 1 2 2 1 0

2.3 0 0 32 5 3 5 0 1 0 0 2 1 1 1 0

2.4 0 0 31 0 3 7 0 1 0 0 1 1 1 0 0

2.5 0 0 4 0 4 8 1 1 1 0 1 2 0 1 0

Page 8: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号(2017)

166

表2 5点データにおける最適解の得られた割合(%)

A1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A2

0.1 0 8 2 1 4 6 8 8 12 12 11 16 12 5 7

0.2 0 4 1 3 4 6 10 6 11 10 12 17 9 5 7

0.3 0 2 1 1 4 4 10 5 12 11 12 16 11 6 6

0.4 0 1 1 1 2 3 12 7 15 14 10 16 14 7 7

0.5 0 4 0 1 2 2 9 6 14 15 11 17 15 8 7

0.6 0 11 0 0 1 2 8 6 15 12 10 15 16 9 10

0.7 0 9 0 0 2 0 7 5 13 14 9 15 14 7 9

0.8 0 8 0 0 1 1 4 6 11 13 8 14 12 8 7

0.9 0 6 0 0 1 0 3 4 10 7 8 14 11 8 7

1.0 0 1 1 0 0 0 2 3 5 7 7 10 12 8 8

 次に,各点データに対するシミュレーションにおいて実際に得られた解(経路順)をカウントした

ものを表3,表4に示す.各表ともに解の数の降順でソートしており,丸のついた箇所は最適経路で

ある.また,表3においては実行不能解(経路順において同じ点番号が複数あるなど)が5,923個あり,

表からは除外している.さらに,表4においては5!=120通りの経路順のうち,解の数が10未満のもの,

および実行不能解(8,566個)を表から除外している.この結果を見ると,表3の「1→2→3→4」

と「4→1→2→3」については合わせて全体の7割以上を占めており,表4の「1→2→3→4→

5」と「5→1→2→3→4」についても同様の傾向が認められる.このことは,ホップフィールド

ネットワークは局所解に陥りやすいことを示唆している.

表3 4点データにおいて得られた各解(各経路順)の個数(計45,000)

最適解 経路順 解の数 最適解 経路順 解の数

1→2→3→4 20,671 1→2→4→3 98

4→1→2→3 12,241 ○ 4→2→3→1 80

2→3→4→1 1,484 3→1→2→4 40

○ 1→3→2→4 1,372 4→3→1→2 38

4→3→2→1 1,171 1→3→4→2 27

2→1→4→3 735 ○ 2→4→1→3 16

○ 2→3→1→4 240 ○ 3→1→4→2 14

4→2→1→3 212 2→4→3→1 13

○ 4→1→3→2 198 ○ 3→2→4→1 6

2→1→3→4 151 3→2→1→4 3

1→4→3→2 134 3→4→1→2 0

○ 1→4→2→3 133 3→4→2→1 0

Page 9: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

167

表4 5点データにおいて得られた各解(各経路順)の個数(計45,000)

最適解 経路順 解の数 最適解 経路順 解の数

1→2→3→4→5 21,112 2→3→1→4→5 29

5→1→2→3→4 11,019 5→3→2→4→1 29

○ 1→3→2→4→5 1,196 5→1→4→3→2 28

2→3→4→5→1 450 1→4→2→3→5 27

1→3→2→5→4 366 1→2→5→3→4 27

5→1→3→4→2 335 5→1→2→4→3 27

5→3→2→1→4 268 2→1→4→5→3 23

5→2→1→3→4 246 1→5→2→3→4 23

2→1→3→4→5 156 1→5→3→4→2 22

5→2→3→4→1 134 4→1→2→3→5 20

1→2→3→5→4 112 2→3→4→1→5 19

5→2→3→1→4 109 3→1→2→5→4 19

2→1→4→3→5 92 1→3→4→2→5 18

2→1→3→5→4 92 ○ 3→2→4→5→1 16

3→1→2→4→5 64 5→4→3→1→2 16

2→1→5→3→4 63 1→2→4→5→3 15

○ 2→3→1→5→4 62 1→3→4→5→2 15

○ 5→1→3→2→4 61 4→3→2→5→1 13

1→2→4→3→5 52 3→2→1→4→5 12

4.2 解法2の結果

 解法2におけるパラメータの影響を調べるために,図6の12点データを使用した.12点データにつ

いては全ての場合の数12!≒4.79×108のうち24通りが最短経路であり,その一例は「P12→P9→P10→P11

→P4→P8→P5→P6→P2→P1→P3→P7」である.

 ここでは,式(9)のB1は1.0に固定してB2とB3を次のように設定し,それぞれ100回ずつのシミュレー

ションを実施した.

図6 12点データの配置

Page 10: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号(2017)

168

B2: 1, 2, 3, …, 9, 10 の10通り

B3: 0.1, 0.2, 0.3, …, 1.0 の10通り

 すなわち,各点データに対して10×10×100 = 10,000回のシミュレーションを行った.

 表5は12点データを対象として,各パラメータにおける100回のシミュレーションのうち,実行可

能解(スラッシュの右側)と最適解(スラッシュの左側)の得られた割合を示している.例えば,パ

ラメータが(B2, B3)=(1, 0.2)の場合は実行可能解の得られた回数が39回で,そのうち1回で最適解

を獲得している.

 この結果から,以下のような特徴が見られる.

● B3の値が小さいときには,実行可能解が得られる割合に対して最適解の得られる割合が低い.

すなわち,エネルギー Eが平衡状態になった際に,局所解に陥る可能性が高いことを意味して

いる.

● B3の値が高くなるにつれて,実行可能解の割合に対する最適解の割合が大きくなっている.こ

のことはB3の値が高いほど,局所解に陥る可能性が低くなることを意味している.

● 本研究で設定したパラメータの範囲においては,B3=0.4付近でかつB2の値が大きいほど最適解

が得られやすい傾向にある.

表5 12点データにおける最適解の得られた割合(%)/実行可能解の得られた割合(%)

B3

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

B2

1 0/94 1/39 0/20 4/17 7/24 6/10 6/9 4/5 2/4 3/3

2 0/100 2/61 7/48 10/39 9/44 14/47 17/26 4/4 1/2 1/1

3 1/76 7/52 15/42 21/46 17/32 25/36 8/13 8/8 2/2 4/4

4 1/51 6/32 17/32 34/41 17/33 20/28 15/15 4/5 1/2 1/2

5 1/48 4/34 21/33 35/41 38/51 36/39 17/21 3/3 0/0 1/1

6 1/37 5/27 34/45 42/50 35/45 30/40 10/13 3/3 0/0 0/0

7 1/41 10/22 34/45 27/32 25/38 29/38 13/16 2/2 0/0 0/0

8 1/16 6/19 33/45 5/17 26/35 26/32 13/17 8/8 2/3 0/0

9 1/23 11/21 29/40 35/46 25/41 22/27 17/19 4/5 1/2 1/1

10 0/23 8/19 31/40 48/49 26/36 37/44 15/20 2/2 0/0 0/2

5. おわりに

 本研究では,ホップフィールド型ニューラルネットワークを用いて巡回セールスマン問題を解く方

法として二つの解法を用いた.その際,解の獲得における各種パラメータの影響について調べた.い

ずれの解法においてもホップフィールド型ニューラルネットワークを単純に適用するだけでは局所解

に陥りやすく,最適解を効率よく得ることは困難であった.今後の課題として,確率的に局所解から

脱出するための手法などを組み込むことを検討する.

Page 11: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる

ホップフィールド型ニューラルネットワークにおけるパラメータの影響

169

参考文献

[1] D. E. Rumelhart, G. E. Hinton, and R. J. Williams: “Learning representations by back-propagating

errors”, Nature, Vol.323, No.9, pp.533-536, 1986.

[2] D. H. Ackley, G. E. Hinton, and T. J. Sejnowski: “A learning algorithm for Boltzmann machines”,

Cognitive Science, Vol.9, pp.147-169, 1985.

[3] G. E. Hinton: “Training products of experts by minimizing contrastive divergence”, Neural Computation,

Vol.8, No.14, pp.1771-1800, 2002.

[4] Y. Taigman, M. Yang, M. Ranzoto, and L. Wolf: “Deepface: Closing the gap to human-level performance

in face verification”, In Proc. CVPR, pp.1701-1708, 2014.

Page 12: ホップフィールド型ニューラルネットワークにおけるパラメータ … · 近年,機械学習や深層学習(ディープラーニング)などが注目を集めている.これらのもとになる