Embed Size (px)
Citation preview
159
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
岩 瀬 弘 和＊
The Influence of Parameter Settings on the Hopfield Neural Network
Hirokazu IWASE
１．はじめに
近年，機械学習や深層学習（ディープラーニング）などが注目を集めている．これらのもとになる
理論のニューラルネットワークは古くから研究されており，1950年代の末期から人工知能の分野で
発展してきたものである．ニューラルネットワークは人間の脳の神経細胞をモデル化したものであ
り，階層型ニューラルネットワークにおける誤差逆伝播学習アルゴリズム[1]や相互結合型ニューラ
ルネットワークにおける確率的探索アルゴリズムのボルツマンマシン[2]など，1980年代に次々と提
案されたアルゴリズムを発展させたものとして，制限ボルツマンマシン[3]や畳み込みニューラルネッ
トワークによる人の顔認識[4]など，実用面への応用も目立つようになってきた．
ところで，相互結合型ニューラルネットワークは過去の研究において学習や想起などに応用されて
いるが，各問題への適用の際には試行錯誤により各種パラメータの設定が行われている．
本研究では，相互結合型ニューラルネットワークの代表的なものであるホップフィールド型ニュー
ラルネットワークを巡回セールスマン問題（Traveling Salesman Problem: TSP）に適用した．その際に
二つの解法を用いて基礎的な数値実験を行い，各種パラメータが最適解の獲得にどのように影響を及
ぼすのかについて調べた．
２．ホップフィールド型ニューラルネットワーク
2.1 ニューロンの基本性質
ニューラルネットワークはニューロンを基本素子とするネットワークシステムである．あるニュー
ロンiの動作を図示すると図１のようになる．
＊ Hirokazu IWASE 共通領域部（Department of General Studies）
東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号（2017）
160
ニューロンiへの入力は，n個のニューロンjの出力値xjに各重み係数wijを掛けたものの総和であり，
そこから閾値θiを引いたものがニューロンiへの入力uiとなる．これを式で表すと式（1）のようになる．
(1)
また，その出力値xiは，離散（デジタル）値の場合は１（ui≧０のとき）または０（ui＜０のとき）
の値をとり，連続値の場合は式（2）に示すシグモイド型関数などが用いられる（図２参照）．この
関数は０を最小値とする単調増加関数で微分可能であり，入力値が∞で最大値１をとる．
(2)
2.2 ホップフィールド型ニューラルネットワーク
ニューラルネットワークの構造には図３に示すように階層型ネットワーク，相互結合型ネットワー
クなどがある．図中の〇はユニットと呼ばれ，前節におけるニューロンの動作をなすものである．矢
印はユニットからの出力値の流れを表している．階層型ネットワークは入力層と出力層があり，中間
に何層かの隠れ層を含むのが一般的である（図３は３層ネットワーク）．それに対して相互結合型ネッ
トワークは入力層・出力層の区別がなく，ユニット同士がお互いに結ばれている．自分自身への結合
（自己結合）を含む場合は，n個のユニットのネットワークではn２本の結合が存在する．
図1 ニューロンiへの入力uiとニューロンiの出力xi
図２ シグモイド型出力関数の例
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
161
本研究で扱うHopfield型ニューラルネットワークは相互結合型ネットワークであるが，自己結合を
含まず（wii = ０），結合荷重は対象的（wij = wji = ０）である．
Hopfieldネットワークでは，各ユニットの状態を次の手順に従い非同期に更新していく．ここで非
同期の更新とは，ある時刻において更新されるのは対象となるひとつのユニットのみであることを意
味している．ただし，nはユニット数である．
〔手順１〕 対象となるユニットをひとつ選ぶ（ユニットiとする）
〔手順２〕 次式によりユニットiへの入力uiを更新する
〔手順３〕 次式によりユニットiへの入力xiを更新する
この手順１から手順３を繰り返すことでネットワークの状態が変化し，次式に示すエネルギー Eも
変化していく．
(3)
これは非増加関数となるため，時刻tにおけるエネルギーを E (t ) とすると， E (t+1) ≦ E (t ) が成り
立つ．すなわち，この手順によりネットワークの状態が平衡状態（エネルギー Eが極小値をとる）に
収束していくことがわかる．
一方，ネットワークのエネルギー Eに対して，ユニットiへの入力uiの時間変化は次の微分方程式で
表される．
(4)
よって，この微分方程式における定常状態が解となり得る．
図３ ニューラルネットワークの構造の例
東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号（2017）
162
2.3 ルンゲ・クッタ法
初期値の与えられた微分方程式系
の解であるy (xn)を近似値y (xn) = ynとして求める方法としてルンゲ・クッタ（Runge-Kutta）法が知ら
れている．特に一般的に使われているのが４次のルンゲ・クッタ法であり，次の計算手順により求め
られる．
ただし，hは小さな区間幅とし，これを初期値x0から逐次的に計算することで，近似値y (xn)が求め
られる．
3. TSPへの適用
巡回セールスマン問題（Traveling Salesman Problem，以下ではTSP）とは，N個の都市があり，各
都市を１度ずつ訪問して出発点に戻るとき，最短となる経路を求める問題である．訪問順序が問題の
解となるが，その場合の数は（N－1）!/2 通りである（どの都市から出発してもよく，また逆順でも
よいため）．これはNが大きくなるにつれて解探索に要する時間が指数関数的に増えてしまう，いわ
ゆるNP-困難問題のひとつである．
解法1
図４はN = ４の場合であるが，各列が訪問順序，各行が都市番号を意味している．この場合のユニッ
ト数はN×N = 16 となる．図中の数値０と１はユニットの状態であり，例えば図４の場合は「都市
３を１番目に訪問し，都市１を２番目に訪問し，都市４を３番目に訪問し，都市２を４番目に訪問す
る」ことを表している．よって，経路の順序は「３→１→４→２」となる．
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
163
ところで，TSPの制約条件には次のものがある．
〔条件1〕 各都市の訪問回数は１回のみ
〔条件2〕 各時点で（同時に）訪問できる都市はひとつのみ
これに基づき，エネルギー関数Eを次のように定める．
(5)
ここで，A1とA2は重み係数（定数）であり，rとsは都市番号，iとjは訪問順序，Xriは「都市rの順
序がi」に相当するユニットの出力値，Drsは都市rと都市sの距離である．また，Xs (i+1) において i＋１
= N＋１ のときは i＋１= １とし，Xs (i－１) において i－１= ０のときは i－１= N とする．
式(5)の右辺における第１項は条件１と条件２を満たすときに最小値０をとるための項であり，第
２項は総移動距離が最短のときに最小値をとる項である．
ところで，式(5)と式(3)を比較すると， Wri,sj（ユニットri（都市rの順序がi）とユニットsj（都市sの順
序がj）の結合荷重）と閾値θriは次のようになる．
(6)
(7)
ただし，δはクロネッカーのデルタである．
このようにして予め各結合荷重の値を決めておき，適当な初期状態から2.2節の手順１から手順３
を繰り返すことで，次第にエネルギーの低い状態へと変化し，最終的に平衡状態になり，TSPの解候
補が得られる．ただし，必ずしも最適解になるとは限らず，局所解に陥ることもある．
図４ HopfieldネットワークによるTSPの解法
東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号（2017）
164
解法2
ここでは，ホップフィールドネットワークにおけるTSPのエネルギー Eを式(8)で表現する．
(8)
ところで，式(4)の関係から，式(8)をXriで偏微分することで式(9)が得られる．
(9)
本研究では，式(9)に対して４次のルンゲ・クッタ法を適用し解を求める．
4. 数値実験
4.1 解法1の結果
まず，解法１によるホップフィールドネットワークの動作を詳細に調べるため，小規模で最適解
が明白な図５の４点データ（左図）および５点データ（右図）を使用した．４点データについては
全ての場合の数４!=24のうち８通りが最短経路であり，その一例は「P1→P3→P2→P4」である．ま
た，５点データについては全ての場合の数５!=120のうち10通りが最短経路であり，その一例は
「P1→P3→P2→P4→P5」である．
ここでは，ホップフィールドネットワークのパラメータである式(5)のA1とA2を次のように設定し，
それぞれ100回ずつのシミュレーションを実施した．
A1： 1, 2, 3, …, 14, 15 の15通り
A2： 0.1, 0.2, 0.3, …, 2.9, 3.0 の30通り
すなわち，各点データに対して15×30×100 = 45,000回のシミュレーションを行った．
表１は４点データを対象として，各パラメータにおける100回のシミュレーションのうち，最適解（最
図５ ４点データ（左図）と５点データ（右図）の配置
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
165
短経路）の得られた割合を示している．例えば，パラメータが（A1, A2）=（2, 0.1）の場合は100回のシミュ
レーションのうち11回で最適解を獲得している．つまり，数値の大きいほど優れたパラメータの組み
合わせであることを意味している．ただし，2.6≦A2≦3.0に関しては，最適解の得られた割合がほぼ
０であったためにここでは割愛している．この結果から，A1が2≦A1≦4のように小さい場合にはA2
が大きいほど最適解が得られやすく，一方でA2が0.1≦A2≦0.5のように小さい場合にはA1が大きいほ
ど最適解が得られやすい傾向が見て取れる．
表２は５点データを対象とした同様の結果である．ただし，1.1≦A2≦3.0に関しては，最適解の得
られた割合がほぼ０であったためにここでは割愛している．５点データの場合は４点データと比べる
と最適解の得られた割合が低いことが明らかである．その中でも比較的優れたパラメータの組み合わ
せはA1=12，かつ，0.1≦A2≦0.5といえそうである．
表１ ４点データにおける最適解の得られた割合（%）
A1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
A2
0.1 0 11 8 4 6 14 19 16 17 13 18 15 22 20 13
0.2 2 4 2 4 7 13 22 22 16 14 17 14 32 24 13
0.3 0 6 1 1 7 10 15 17 17 10 15 15 29 25 10
0.4 3 12 0 2 3 11 11 14 12 9 12 13 30 23 7
0.5 3 16 0 0 2 7 10 11 8 7 8 14 25 21 7
0.6 0 17 2 0 1 2 5 6 4 5 7 11 23 17 7
0.7 0 15 1 1 0 1 3 2 1 4 4 8 14 16 5
0.8 0 12 0 1 0 1 0 1 1 4 4 5 10 12 7
0.9 0 10 1 1 1 1 0 1 0 4 4 5 9 12 6
1.0 0 13 1 3 0 0 1 1 0 2 4 4 5 9 6
1.1 0 21 6 3 3 0 0 1 0 1 3 3 4 8 5
1.2 0 18 8 2 0 0 0 1 0 1 0 2 2 7 5
1.3 0 13 15 3 0 0 0 0 0 0 0 1 2 5 1
1.4 0 6 25 1 0 1 0 0 0 0 1 2 2 3 2
1.5 0 4 31 1 1 1 0 0 0 0 2 2 2 2 1
1.6 0 7 34 3 0 0 0 0 1 0 2 2 1 2 0
1.7 0 0 23 7 0 2 0 0 0 0 2 2 2 2 0
1.8 0 0 13 25 0 1 1 1 0 0 2 0 1 1 0
1.9 0 0 13 35 1 0 0 0 0 0 3 0 0 1 0
2.0 0 0 17 31 2 0 0 0 0 0 2 0 0 1 0
2.1 0 0 17 9 6 1 0 0 0 0 2 0 0 1 0
2.2 0 0 25 7 5 2 0 1 0 0 1 2 2 1 0
2.3 0 0 32 5 3 5 0 1 0 0 2 1 1 1 0
2.4 0 0 31 0 3 7 0 1 0 0 1 1 1 0 0
2.5 0 0 4 0 4 8 1 1 1 0 1 2 0 1 0
東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号（2017）
166
表２ ５点データにおける最適解の得られた割合（%）
A1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
A2
0.1 0 8 2 1 4 6 8 8 12 12 11 16 12 5 7
0.2 0 4 1 3 4 6 10 6 11 10 12 17 9 5 7
0.3 0 2 1 1 4 4 10 5 12 11 12 16 11 6 6
0.4 0 1 1 1 2 3 12 7 15 14 10 16 14 7 7
0.5 0 4 0 1 2 2 9 6 14 15 11 17 15 8 7
0.6 0 11 0 0 1 2 8 6 15 12 10 15 16 9 10
0.7 0 9 0 0 2 0 7 5 13 14 9 15 14 7 9
0.8 0 8 0 0 1 1 4 6 11 13 8 14 12 8 7
0.9 0 6 0 0 1 0 3 4 10 7 8 14 11 8 7
1.0 0 1 1 0 0 0 2 3 5 7 7 10 12 8 8
次に，各点データに対するシミュレーションにおいて実際に得られた解（経路順）をカウントした
ものを表３，表４に示す．各表ともに解の数の降順でソートしており，丸のついた箇所は最適経路で
ある．また，表３においては実行不能解（経路順において同じ点番号が複数あるなど）が5,923個あり，
表からは除外している．さらに，表４においては５!=120通りの経路順のうち，解の数が10未満のもの，
および実行不能解（8,566個）を表から除外している．この結果を見ると，表３の「１→２→３→４」
と「４→１→２→３」については合わせて全体の７割以上を占めており，表４の「１→２→３→４→
５」と「５→１→２→３→４」についても同様の傾向が認められる．このことは，ホップフィールド
ネットワークは局所解に陥りやすいことを示唆している．
表３ ４点データにおいて得られた各解（各経路順）の個数（計45,000）
最適解 経路順 解の数 最適解 経路順 解の数
1→2→3→4 20,671 1→2→4→3 98
4→1→2→3 12,241 ○ 4→2→3→1 80
2→3→4→1 1,484 3→1→2→4 40
○ 1→3→2→4 1,372 4→3→1→2 38
4→3→2→1 1,171 1→3→4→2 27
2→1→4→3 735 ○ 2→4→1→3 16
○ 2→3→1→4 240 ○ 3→1→4→2 14
4→2→1→3 212 2→4→3→1 13
○ 4→1→3→2 198 ○ 3→2→4→1 6
2→1→3→4 151 3→2→1→4 3
1→4→3→2 134 3→4→1→2 0
○ 1→4→2→3 133 3→4→2→1 0
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
167
表４ ５点データにおいて得られた各解（各経路順）の個数（計45,000）
最適解 経路順 解の数 最適解 経路順 解の数
1→2→3→4→5 21,112 2→3→1→4→5 29
5→1→2→3→4 11,019 5→3→2→4→1 29
○ 1→3→2→4→5 1,196 5→1→4→3→2 28
2→3→4→5→1 450 1→4→2→3→5 27
1→3→2→5→4 366 1→2→5→3→4 27
5→1→3→4→2 335 5→1→2→4→3 27
5→3→2→1→4 268 2→1→4→5→3 23
5→2→1→3→4 246 1→5→2→3→4 23
2→1→3→4→5 156 1→5→3→4→2 22
5→2→3→4→1 134 4→1→2→3→5 20
1→2→3→5→4 112 2→3→4→1→5 19
5→2→3→1→4 109 3→1→2→5→4 19
2→1→4→3→5 92 1→3→4→2→5 18
2→1→3→5→4 92 ○ 3→2→4→5→1 16
3→1→2→4→5 64 5→4→3→1→2 16
2→1→5→3→4 63 1→2→4→5→3 15
○ 2→3→1→5→4 62 1→3→4→5→2 15
○ 5→1→3→2→4 61 4→3→2→5→1 13
1→2→4→3→5 52 3→2→1→4→5 12
4.2 解法2の結果
解法２におけるパラメータの影響を調べるために，図６の12点データを使用した．12点データにつ
いては全ての場合の数12!≒4.79×108のうち24通りが最短経路であり，その一例は「P12→P9→P10→P11
→P4→P8→P5→P6→P2→P1→P3→P7」である．
ここでは，式(9)のB1は1.0に固定してB2とB3を次のように設定し，それぞれ100回ずつのシミュレー
ションを実施した．
図６ 12点データの配置
東京成徳大学研究紀要 ―人文学部・応用心理学部― 第24号（2017）
168
B2： 1, 2, 3, …, 9, 10 の10通り
B3： 0.1, 0.2, 0.3, …, 1.0 の10通り
すなわち，各点データに対して10×10×100 = 10,000回のシミュレーションを行った．
表５は12点データを対象として，各パラメータにおける100回のシミュレーションのうち，実行可
能解（スラッシュの右側）と最適解（スラッシュの左側）の得られた割合を示している．例えば，パ
ラメータが（B2, B3）=（1, 0.2）の場合は実行可能解の得られた回数が39回で，そのうち１回で最適解
を獲得している．
この結果から，以下のような特徴が見られる．
● B3の値が小さいときには，実行可能解が得られる割合に対して最適解の得られる割合が低い．
すなわち，エネルギー Eが平衡状態になった際に，局所解に陥る可能性が高いことを意味して
いる．
● B3の値が高くなるにつれて，実行可能解の割合に対する最適解の割合が大きくなっている．こ
のことはB3の値が高いほど，局所解に陥る可能性が低くなることを意味している．
● 本研究で設定したパラメータの範囲においては，B3=0.4付近でかつB2の値が大きいほど最適解
が得られやすい傾向にある．
表5 12点データにおける最適解の得られた割合(%)/実行可能解の得られた割合(%)
B3
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
B2
1 0/94 1/39 0/20 4/17 7/24 6/10 6/9 4/5 2/4 3/3
2 0/100 2/61 7/48 10/39 9/44 14/47 17/26 4/4 1/2 1/1
3 1/76 7/52 15/42 21/46 17/32 25/36 8/13 8/8 2/2 4/4
4 1/51 6/32 17/32 34/41 17/33 20/28 15/15 4/5 1/2 1/2
5 1/48 4/34 21/33 35/41 38/51 36/39 17/21 3/3 0/0 1/1
6 1/37 5/27 34/45 42/50 35/45 30/40 10/13 3/3 0/0 0/0
7 1/41 10/22 34/45 27/32 25/38 29/38 13/16 2/2 0/0 0/0
8 1/16 6/19 33/45 5/17 26/35 26/32 13/17 8/8 2/3 0/0
9 1/23 11/21 29/40 35/46 25/41 22/27 17/19 4/5 1/2 1/1
10 0/23 8/19 31/40 48/49 26/36 37/44 15/20 2/2 0/0 0/2
5. おわりに
本研究では，ホップフィールド型ニューラルネットワークを用いて巡回セールスマン問題を解く方
法として二つの解法を用いた．その際，解の獲得における各種パラメータの影響について調べた．い
ずれの解法においてもホップフィールド型ニューラルネットワークを単純に適用するだけでは局所解
に陥りやすく，最適解を効率よく得ることは困難であった．今後の課題として，確率的に局所解から
脱出するための手法などを組み込むことを検討する．
ホップフィールド型ニューラルネットワークにおけるパラメータの影響
169
参考文献
[1] D. E. Rumelhart, G. E. Hinton, and R. J. Williams: “Learning representations by back-propagating
errors”, Nature, Vol.323, No.9, pp.533-536, 1986.
[2] D. H. Ackley, G. E. Hinton, and T. J. Sejnowski: “A learning algorithm for Boltzmann machines”,
Cognitive Science, Vol.9, pp.147-169, 1985.
[3] G. E. Hinton: “Training products of experts by minimizing contrastive divergence”, Neural Computation,
Vol.8, No.14, pp.1771-1800, 2002.
[4] Y. Taigman, M. Yang, M. Ranzoto, and L. Wolf: “Deepface: Closing the gap to human-level performance
in face verification”, In Proc. CVPR, pp.1701-1708, 2014.
