ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム

ベイジアンネットワークを遺伝的操作に利用した

実数値遺伝的アルゴリズム

○ 吉田純一，廣安知之，三木光範

同志社大学工学部／同志社大学大学院

第 14 回自律分散システム・シンポジウム（ 2002 年 1 月 25日）

Intelligent Systems Design Lab. Doshisha University

発表の概要

遺伝的アルゴリズムの問題点

確率モデル遺伝的アルゴリズム

ガウシアン最適化アルゴリズム（ GOA ）

GOA の連続関数最適化問題への適用

まとめ


遺伝的アルゴリズム

生物の進化の過程を工学的に応用した最適化手法

遺伝的オペレータ　交叉・突然変異・選択

幅広い工学的最適化問題に適用可能

評　価

選　択

交　叉

突然変異


親個体の遺伝子を組み替え新しい個体を生成個体間の情報交換

積み木仮説（ Holland 1975 ）複数の個体がビルディングブロックを探索．交叉によってこれが組み合わされる

GA による解探索の主役と考えられてきた

GA における交叉の役割

評　価

選　択

突然変異

交　叉


GA における交叉の問題点

発見されたビルディングブロックを母集団全体に広め，多様性を失わせる．親個体のもつビルディングブロックを破壊することが多い . （ Wu 1997 ）

適合度に小さな変化または大きな改悪を生む事が多い．（ Nordin 1995 ）

　　分布推定アルゴリズム　　確率モデル遺伝的アルゴリズム

新しいアプローチ


分布推定アルゴリズム（ EDAs ）の概要

確率モデル

分布の推定

分布推定アルゴリズム（ Muhlenbein1996 ）Estimation of distribution algorithms:EDAs

母集団内の良好な個体群の分布にもとづいて確率的に新しい個体を生成する

母集団

（１）良好な個体を母集団　　から選択

（２）分布を推定し　　確率モデルを構築

（３）新しい個体を生成し　　母集団内の個体と置き換え


GA と EDA の比較

評　価

選　択

交　叉

突然変異個体生成

評　価

選　択

分布推定・

GA EDA

EDA：交叉・突然変異を「分布推定」と「モデルに従った個体の生成」に置き換えたもの

モデル構築

確率モデル GA （ Probabilistic Model Building GAs）


確率モデル GA の分類（ Pelikan1999 ）

設計変数のコード化手法による分類

設計変数間の依存関係の考慮の程度による分類

依存関係を考慮しない（ No Interactions ）

2 変数間の依存関係を考慮する（ Pairwize Interactions ）

3 変数以上の依存関係を考慮する（ Multivariable Interactions ）

ビットストリング型

実数値ベクトル型

00 11 00 0011 11

x1 x2

f (x1, x2)


確率モデル GA の分類

ビットストリング実数値ベクトル依存関係を考慮しない

PBIL （ Baluya1994 ）UMDA （ Muhelembein1996）ｃ GA （ Lobo1998 ）

SHCLVND （ Rudolf1996 ）

Real-coded PBIL （ Sevet1997 ）

PIPE （ Salustowicz1997 ）

PBMGA （筒井 2000 ）

2 変数を考慮

MIMIC （ DeBonet1997 ）BMDA （ Pelikan1999 ）

3 変数以上を考慮

ECGA （ Harik1999 ）FDA （ Muhelembein1999 ）BOA （ Pelikan1999 ）EBNA （ Etxeberria1999 ）

EGNA （ Etxeberria1999 ）

GOA

ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA

2 変数間の依存関係を考慮した実数値確率モデル GA


提案手法の特徴

• 実数値ベクトルの染色体

• 確率モデル GA

• 分布の推定にガウス分布

• 確率モデルにガウシアンネットワーク

• ガウシアンネットワークの構造は Q-Learning で学習

ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA


GOA の概要

ガウシアンネット

分布の推定

母集団


（２）分布を推定

（ 6 ）母集団内の個体と置き換え

Q学習

（ 3 ）モデルを決定（４）新しい個体を生成

（ 5 ）良好な個体を生成した　　ネットワークを学習


分布の推定

サンプル個体群の統計量を求める

各設計変数の平均値，標準偏差

母集団からサンプル個体を選択サンプル率 sトーナメント選択

サンプル個体群はガウス分布すると仮定

変数間の相関係数 ρ

変数ごとの関わりを考慮する

サンプル個体群


-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

個体の生成

各変数を独立に決定する場合

2 変数の依存関係を考慮する場合（ GOA ）

変数ごとに正規乱数を発生

xa と xb の間に依存関係があるとき

2 変量正規分布を利用平均値，標準偏差，相関係数

xa の値をもとに xb の値を決定xa

xb


個体の生成（２）

xa と xb の間に依存関係があるとき

n 変数を扱うときには

xa xb

xa xb

xa の値をもとに xb の値を決定

xc xn

依存関係を有向グラフで表現各変数の値はガウス分布すると仮定

ガウシアンネットワーク（ベイジアンネットワークの一種）

ガウシアンネットのグラフ構造をどのように決定するか？


Q-Learning

強化学習

Q-Learning

教師なし学習

ある状態でとりうる行動に評価値： Q 値

行動選択の手がかり：報酬

エージェントは試行錯誤を通じて適切な制御規則を獲得

評価値に応じて行動を選択

エージェント

環　境

行動状態観測報酬

GOA では依存関係は Q-Learning で学習


1 2 312 3

Q 学習によるネットワークの学習

3 変数の場合

1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

ノード：変数，パス：行動

ネットワークを決定

個体を生成

個体を評価良好な個体を生成したネットワークには報酬

ε-greedy 選択（ ε=0.5 ）


1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

ネットワークの学習

探索が進むと・・・

枝ごとに Q 値に偏りが生じる

太い枝は選択されやすい

太い枝のネットワークは良好な個体を生成する可能性が高い

Q 値を観測することで対象問題の依存関係がわかる？


GOA のまとめ


分布の推定

母集団


（２）分布を推定

（ 6 ）母集団内の個体と置き換え

Q学習

（ 3 ）モデルを決定

（４）新しい個体を生成

（ 5 ）良好な個体を生成した　　ネットワークに報酬


数値実験

ガウシアンネットの有効性

実数値 GA との性能比較

ネットワークの学習


対象問題

変数間に依存関係なし

変数間に依存関係あり

FGriewank


実験１：ガウシアンネットの有効性

ガウシアンネットワークは変数間の依存関係を表現

設計変数間に依存関係のある問題において効率的な探索が期待される

xa xb xc xn

GOA とガウシアンネットワークを用いない GOA を比較しガウシアンネットの有効性を確認する



分布の推定

母集団

分布の推定

母集団

パラメータ

母集団サイズ：サンプル率：突然変異率：

2000.10.1

学習率：割引率：

0.30.3

GOA とネットワークなし GOA

実験 1 ：ガウシアンネットの有効性

※20 試行の平均値で比較


ガウシアンネットの有効性（１）

設計変数間に依存関係のない問題では差はない


ガウシアンネットの有効性（２）

設計変数間に依存関係のある問題では有効


実験 2 ：実数値 GA との性能比較

比較に用いた実数値 GA

母集団サイズ：

世代交代モデル：

交叉法：

200

MGG （ sato1997 ）

BLX-α （ eshelman1993 ） , UNDX （ ono1997 ）

※20 試行の平均値で比較


実数値 GA との性能比較（１）

GOA は実数値 GA よりも高速に良好な解を得る


実数値 GA との性能比較（２）


10D Griewank 10D Ridge


1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

実験 3 ：ネットワークの学習

探索が進むと・・・

枝ごとに Q 値に偏りが生じる

太い枝からなるネットワーク→ 良好な個体を生成した　ネットワーク

Q 値を観測することで対象問題の依存関係がわかる？

対象問題Rastrigin, Ridge （ 4 変数）ノード：変数，パス：行動


ネットワークの学習（１）

4D Rastrigin 関数

設計変数間に依存関係がない

相関係数は小さい

ネットワークを用いなくても性能は変わらない

Q 値に偏りがない学習が進む前に最適解を得る


ネットワークの学習（２）

4D Ridge 関数

設計変数間に依存関係がある

ネットワークを用いた方が性能がよい

Q 値に偏りがある何らかの学習がなされている

問題の性質を把握は今後の課題


まとめ

設計変数間に依存関係のある問題においてガウシアンネットワークによる個体分布の推定は有効．

GOA は実数値 GA よりも少ない計算回数で良好な解を得ることができる．

GOA は設計変数間に依存関係のある問題においてその性質を学習することができる（解析は今後の課題）．

新しい実数値確率モデル GA としてガウシアン最適化アルゴリズムを提案した．



補足資料


GOA の流れ図

個体生成

評　価

選　択

分布推定

学　習

モデル構築


Rastrigin



全試行の履歴

多峰性関数においては局所解で停滞することもある


GOA の問題点

サンプル個体群 = 母集団内の優良個体

0 ， 0, 4, 00 ， 0, 5, 00 ， 0, 3, 0

0 ， 0, 0.4, 0

0 ， 0, 1, 00 ， 0, 5, 00 ， 0, 3, 0

0 ， 0, 0.3, 0

GA では，選択によってエリートの数が増える

GOA では数は増えず，統計量のみが変化する

　　　　　探索終盤での局所解からの脱出は困難？

個体１個体 2個体３

平均値

X0 X １ X ２ X ３ X0 X １ X ２ X ３

GOA ではビルディングブロックの交換はできない


GOA の問題点

0, 0, 0, 1, 0

0, 0, 0, 0, 1

ビルディングブロックの交換ができない

0, 0, 0, 0, 0

0, 0, 0, 0.5, 0.5


ベイジアンネットワーク

確率変数の間の定性的な依存関係をグラフ構造で表す

確率変数間の定量的な依存関係を条件付き確率で表す

このとき xb は xa に依存する．xa は xb の親ノード．

))(|()|( bbab XXPXXP

xa xb

ここで　　　　　は xb の親ノード群)( bX

不確定性を含む事象を表現するために有向グラフを用いる確率モデル


条件付き確率の例


ガウシアンネットワーク

連続変数をベイジアンネットワークで扱う場合

離散変数をベイジアンネットワークで扱う場合条件付確率はすべての状態における条件付確率を並べた表（ CPT ）によって表す．

各変数の条件付確率を特定の連続関数に従うと仮定このときガウス分布すると仮定するもの

　　　　　ガウシアンネットワーク

a = 1 のとき b = 0 である確率は 10%a = 2 のとき b = 0 である確率は 10%　　　　　　　　　・・・


Q-Learning

S1 S2 S3 S4

A A A

BB

B

Q 値

Q-Learning の例

：状態：行動：報酬

S1 S2 S3 S4

A

B


ネットワークの学習： Rosenbrock

4D Rosenbrock 関数

設計変数間に依存関係がある

相関係数が大きい


相関係数の影響

-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

-2

0

2

-2

0

2

0

0.2

0.4

0.6

0.8

1

-2

0

2

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1

ρ=0.0 ρ=0.2 ρ=0.4

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1


GOA の世代交代モデル

S （ t ）

O （ t ）

P （ t ）

P （ t+1 ）

P （ t ） +O （ t ）

サンプル個体群の選択

子個体の生成

世代交代

本研究で用いた世代交代モデル

GOA では任意の世代交代モデルが利用できる


交叉点はランダムに決定

→良好なスキーマが組み合わされ　るか否かは確率的要素に依存

うまく組み合わされても一方は淘汰される

　→ 多様性の減少につながる

- 改良よりも改悪の方が多い（ wu 97 ）

:3

:2

:5:0

:3:2

1 2

1

2

部分解

交叉の問題点（ 1 点交叉の例）


実数値遺伝的アルゴリズム

実数値をそのまま遺伝子型とする

連続関数最適化問題において，ビットストリングを用いる GA より有効である（ Davis 91 ）


実数値 GA における交叉法

BLX-α UNDX

• 2 つの親個体の各成分距離を α倍拡張した領域

• 設計変数間に依存関係のある問題に弱い

• 領域内に子個体はランダムに生成

• 3 つの親個体により定義される正規分布領域

• 領域内に 2 つの親の中点を対称に子個体を生成• 設計変数間に依存関係のある問題に強い

（ Eshelman 1993 ）（ Ono 1997 ）


確率モデル GA研究の動向

ビットストリング型の手法に関する研究が先行

実数値ベクトル型の手法で変数間の依存関係を考慮したものは少ない

ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm: GOA

2 変数間の依存関係を考慮した実数値確率モデル GA


■ ■公聴会用資料■ ■


エンジンの実験結果

0.81

0.82

0.83

0.84

0.85

0.86

0.87

0 200 400 600 800 1000 12000

50

100

150

200

250

300

350

400

450

500

1 2 3 4 5 6

ガウシアンネットワークを用いた確率モデル遺伝的アルゴリズム

吉田　純一

博士前期課程　 2000 年度 0737番知的システムデザイン研究室

2001 年度同志社大学大学院工学研究科知識工学専攻修士論文公聴会（ 2002 年 2 月 1 日）

Probabilistic Model Building Genetic Algorithm using Gaussian Network


発表論文リスト

三木光範，廣安知之，吉田純一，金子美華：分散 GA の性能におよぼす交叉法とコーディング法の影響，第 59 回情報処理学会全国大会，岩手県立大学（ 1999.09 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける最適な交叉スキーム，第 6 回 MPS シンポジウム，同志社大学（ 2000.03 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける新しい交叉法，電子情報通信学人工知能と知識処理研究会，筑波大学（ 2000.05 ）

三木光範，廣安知之，畠中一幸，吉田純一：並列分散遺伝的アルゴリズムの有効性，日本計算工学会 Transactions of JSCES, Paper No.20000038 （ 2000.08 ）

吉田純一，三木光範，廣安知之，坂田善宣：遺伝的アルゴリズムにおける最良組み合わせ交叉，第 31 回情報処理学会MPS 研究会，東北大学（ 2000.09 ）

三木光範，廣安知之，吉田純一，大向一輝：分散遺伝的アルゴリズムのための新しい交叉法，同志社大学理工学研究報告書，第 41 巻，第 3 号， pp.162-170 （ 2000.10 ）

M.Miki, T.Hiroyasu, J.Yoshida, I.Ohmukai ： New Crossover Scheme for Parallel 　 Distributed Genetic Algorithms ， IASTED international conference on Parallel and Distributed 　 Computing and Systems (PDCS 2000) ， Riviera Hotel and Casino, Las Vegas, Nevada, U.S.A （ 2000.11 ）

吉田純一，廣安知之，三木光範：汎用分散遺伝的アルゴリズムシステムによるディーゼルエンジンの燃料噴射スケジュール最適化，第 8 回 MPS シンポジウム，同志社大学（ 2001.10 ）

J.Yoshida, T.Hiroyasu, M.Miki ： Distributed Genetic Algorithms for Real-World Problems ，Super Computing (SC2001) ， Colorado convention center, Denver, Colorado, U.S.A （ 2001.11 ）

吉田純一，廣安知之，三木光範：ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム，第 14 回自律分散シンポジウム，東京大学（ 2002.1 ）

ほか計 15件


発表論文リスト（ ALL ）

三木光範，廣安知之，吉田純一，金子美華：分散 GA の性能におよぼす交叉法とコーディング法の影響第 59 回情報処理学会全国大会，岩手県立大学（ 1999.09 ）

吉田純一，大向一輝，廣安知之，三木光範： PC クラスタシステムのベンチマークとツールの紹介第 15 回超並列計算研究会，同志社大学（ 1999.11 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける最適な交叉スキーム第 6 回 MPS シンポジウム，同志社大学（ 2000.03 ）

吉田純一，大向一輝，廣安知之，三木光範：クラスタにおけるジョブ管理ツール DQS の紹介第 18 回超並列計算研究会，日本原子力研究所（ 2000.05 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける新しい交叉法電子情報通信学人工知能と知識処理研究会，筑波大学（ 2000.05 ）

三木光範，廣安知之，畠中一幸，吉田純一：並列分散遺伝的アルゴリズムの有効性日本計算工学会 Transactions of JSCES, Paper No.20000038 （ 2000.08 ）

吉田純一，三木光範，廣安知之，坂田善宣：遺伝的アルゴリズムにおける最良組み合わせ交叉第 31 回情報処理学会MPS 研究会，東北大学（ 2000.09 ）

三木光範，廣安知之，吉田純一，大向一輝：分散遺伝的アルゴリズムのための新しい交叉法同志社大学理工学研究報告書，第 41 巻，第 3 号， pp.162-170 （ 2000.10 ）

三木光範，廣安知之，水田伯典，吉田純一：並列分散遺伝的アルゴリズムを用いた巡回セールスマン問題の解法情報処理学会第 61 回全国大会講演論文集， pp.173-174 （ 2000.11 ）

M.Miki, T.Hiroyasu, J.Yoshida, I.Ohmukai ： New Crossover Scheme for Parallel 　 Distributed Genetic AlgorithmsIASTED international conference on Parallel and Distributed 　Computing and Systems (PDCS 2000) ， Riviera Hotel and Casino, Las Vegas, Nevada, U.S.A （ 2000.11 ）

廣安知之，三木光範，谷村勇輔，吉田純一，佐野正樹：分散遺伝的アルゴリズムを用いた PC クラスタのベンチマーク　日本機械学会日本機械学会第 13 回計算力学講演会講演論文集，pp.497-498 （ 2000.11 ）

三木光範，廣安知之，福永隆宏，吉田純一：実数値遺伝的アルゴリズムの分散効果の検討情報処理学会第 63 回全国大会講演論文集， pp.111-112 （ 2001.09 ）

吉田純一，廣安知之，三木光範：汎用分散遺伝的アルゴリズムシステムによるディーゼルエンジンの燃料噴射スケジュール最適化第 8 回 MPS シンポジウム，同志社大学（ 2001.10 ）

J.Yoshida,T.Hiroyasu, M.Miki ： Distributed Genetic Algorithms for Real-World ProblemsSuper Computing 2001 ， Colorado convention center, Denver, Colorado,U.S.A （ 2001.11 ）

吉田純一，廣安知之，三木光範：ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム第 14 回自律分散シンポジウム，東京大学（ 2002.1 ）


Genetic Algorithms (1)

00 11 00 0011

Candidate solution

Individual :

encodedecode

生物の進化を工学的に模倣した最適化手法

chromosome

遺伝的アルゴリズム（ GA）

11

f (x1, x2)

x1 x2

(3, 5 )

個体＝探索点（候補解）

各個体は設計変数情報を持つ

設計変数は実数からビット列（染色体）に符号化


Genetic Algorithms (2)

Iteration

Evaluation

Selection

Crossover

Mutation

Initialization

End(find solution)

Geneticoperator

The new searching points are generated by genetic operators.

- Selection, Crossover, Mutation

many generations

Get a good solution in result.

DisadvantageHigh calculation cost- GAs needs a lot of iteration

Performing GAs on parallel computers


Documents

ベイジアンネットワークを遺伝的操作に利用した 実数値遺伝的アルゴリズム

ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム