第３回全脳アーキテクチャ勉強会(山川)発表資料

人工知能(AI)観点から想定する

海馬回路の機能仮説

富士通研究所

山川宏 201４年４月２２日

全脳アーキテクチャ勉強会(第３回)

全脳アーキテクチャ勉強会（第３回)

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS

本日の内容

1. WBAの研究戦略：アーキ仮説の生成と洗練

2. AIからの全脳アーキテクチャ仮説(α版)

3. 目的ベース・エージェントとしての海馬

4. まとめ

1


WBAの研究戦略：アーキ仮説の生成と洗練

2 全脳アーキテクチャ勉強会（第３回)


WBAの戦略


計算理論

計算手段 (アルゴリズムと表現)

神経回路 (生物学的に妥当な実装)

脳器官(ミクロ) 脳全体(マクロ)

脳科学実験(マクロ)結果

行動/心理実験の結果

脳科学実験(ミクロ)結果

3

• 汎用人工知能の創造を目指す

• 機械学習を部品として組み合わせ

• 統合において矛盾を生じない部品

大域的モデル

AI

Neuro computing


人間レベル汎用人工知能

WBA研究における仮説の生成と検証

4

仮説検証２神経科学知見から見て，大局的には否定されない．専門家の集積が大事

仮説生成神経科学・認知科学・AIの知見をヒントに

研究者が考え，洗練．

仮説検証１計算機により具体的

に実装できる．

積み重なりつつある神経科学的の知見

ビッグデータ時代だからこそ逆に頭脳勝負に勝機

本日の講演では，仮説を話したい．


脳はガイド：手が届きさえすれば，必ずしも生物学的な真実との一致性は追求しない．


AIからの全脳アーキテクチャ仮説(α版)



目的

人工知能分野における基本的な

知能アーキテクチャを，

脳の主要な器官にフィットするよう

に再構成する．

※最初から計算手段を想定できるのが強み

6


知能エージェントに対する一般的な問題設定

知能エージェントとしての移動ロボット

ゴール

エージェントの行動により状態遷移が起こるモデルと考える．

報酬目的

報酬

目的

7

状態

状態

地図に限らず，多くの問題が状態遷移として表現できるが．その中に，方向や距離は表現されない．


AIからの全脳アーキテクチャ仮説 (α版)


認識器 (モデル)

実行器

報酬

効用評価モデル

状態遷移モデル

知覚行動

知能エージェント

意図

目的

状態

効用状態

状態

海馬基底核

新皮質

報酬生成

外部環境

扁桃核

状態/知覚

行動

意図

効用/報酬

情報の種類

目的


知能エージェントとは何か



実行器



知覚行動


意図

状態

効用状態

状態

外部環境

状態/知覚

行動

効用/報酬

情報の種類

目的

報酬目的

知能エージェント＝アーキテクチャー＋プログラムアーキテクチャー：外部環境と相互作用する枠組みプログラム：知覚から行動を生成する

プログラム外界を認識する

行動を決定する


AIの教科書での知能エージェントの構造条件反射条件－行動ルール

モデルベース現在状態以外について予測

する内部モデルをもつ

目的ベース与えられた目的を実現するよ

うに行動を決定

効用ベース与えられた報酬／罰等から

行動を決定

学習自分自身を変化させる


２．４節エージェントの構造

エージェント＝アーキテクチャ＋プログラム


行動の決め方は3種類

行動の決め方

【実現したい状態が近い】条件反射 (これは基本)

条件－行動ルール

【実現したい状態が遠い】目的ベース与えられた目的を実現するように行動を決定

効用ベース与えられた報酬／罰等から行動を決定

モデルベース現在状態以外について予測する内部モデルをもつモデルの種類

• 環境自体のモデル • 状態遷移のモデル • 効用のモデル


学習自分自身を変化させる


条件反射：条件ー行動ルールで動作


行動の決め方【実現したい状態が近い】条件反射

状態に応じて行動を決定

【実現したい状態が遠い】目的ベース与えられた目的を実現

するように行動を決定効用ベース与えられた報酬／罰

等から行動を決定

実行器条件－行動

ルール

状態(s1) 行動(a3)

実行器の動作


単純条件反射エージェント


認識器

実行器

知覚行動


状態

外部環境

状態/知覚

行動

情報の種類

現在の知覚をもとに行動条件ー行為規則により動く過去の知覚履歴は無視する目的や報酬は与えない

条件－行為規則


モデルベースの条件反射エージェント現在の知覚をもとに行動条件ー行為規則により動く現在見ることができない世界を推定する認識器(環境のモデル) 目的や報酬は与えない

14


実行器

知覚行動


状態

外部環境

状態/知覚

行動

情報の種類

環境のモデル


目的ベース：状態遷移モデルで意図を生成





するように行動を決定

効用ベース与えられた報酬／罰等

から行動を決定


状態(S1)

目的(SG)

意図(I3)


ルール

行動(a3)

意図＝予測しうる望ましい状態

状態遷移モデルの動作

I3

※状態+意図を条件として動作

必要な技術状態遷移モデルの獲得プランニング(計画)

目的


目的ベース(＋モデル)エージェント



実行器


知覚行動


意図

状態

状態

外部環境

目的

技術的には探索やプランニングを行う目的を達成するための(行動)意図を生成する意図＝予測しうる望ましい状態(またはその系列)

伝統的なAI(認知アーキテクチャ研究)： SOAR, BDIアーキテクチャなど

海馬の場所細胞は自分が環境座標中のどこにいるかを推定し続ける

状態/知覚

行動

意図

情報の種類

目的

16


効用ベース：条件－行動ルールの選択(学習)





するように行動を決定効用ベース与えられた報酬／罰

等から行動を決定


状態(S1)

報酬(RG)

効用(U3)


ルール

行動(a3)

効用＝行動の善し悪しを評価

※効用の高いルールを選択(学習)

U3

必要な技術状態－行動ルールを評価する遠方の評価を伝播する仕組み

効用評価モデルの動作

報酬


効用ベース(＋モデル)エージェント



実行器


知覚行動


効用状態

状態

基底核

外部環境

状態/知覚

行動

効用/報酬

情報の種類

報酬

効用関数(utility function)を使う行動の仕方、実現された状態の善し悪しを評価効用の高い条件ー行為規則を強化する(e.g. Q学習) 複数の目的を組み込める


(統合された) 知能エージェントの一般形



実行器



知覚行動


意図

状態

効用状態

状態

外部環境

状態/知覚

行動

意図

効用/報酬

情報の種類

目的

報酬目的

目的ベース＋効用ベース＋モデル

※同時に，目的と報酬を与えるとその間に矛盾が生じうる


実現したい状態が遠い場合の二つの手法

目的ベース効用ベース実行時計算 × ○メモリ使用量 △ ○複数ゴール △ ○ゴール変更 ○ ×経路最適性 ○ △学習効率 ○ ×

プラランニング／ナビゲーション(海馬に関与)

強化学習(基底核を中心とした機能)

全脳アーキテクチャ勉強会（第３回) 20

※ 夫々に，メリット／デメリットがある．


(統合された) 知能エージェントの一般形



実行器



知覚行動


意図

状態

効用状態

状態

外部環境

状態/知覚

行動

意図

効用/報酬

情報の種類

目的

報酬目的

しかし生体では，明示的な目的や報酬は外部から与えられない

目的ベース＋効用ベース＋モデル


生物的な知能エージェント

①知覚から報酬を生成する仕組み(ex. 美味しい，気持ち良い) ②効用から目的を生み出すことができる



実行器

報酬



知覚行動


意図

目的

状態

効用状態

状態

報酬生成

外部環境

状態/知覚

行動

意図

効用/報酬

情報の種類

目的 ①

②


局在した効用から目的を生み出すことができる

目的を設定することが報酬の最大化に寄与する

目的化

目的化

目的にならない (到達できないので)

現在状態

報酬が高い状態


状態遷移モデル中で効用が局在した実現可能な状態


生物的な知能エージェントの一般形



実行器

報酬



知覚行動


意図

目的

状態

効用状態

状態

報酬生成

外部環境

状態/知覚

行動

意図

効用/報酬

情報の種類

目的

状態遷移モデルを利用した効用ベースモデルベース強化学習

状態遷移をシミュレーションすることで，効用の割り当てを加速する．


目的ベース・エージェントとしての海馬



脳との対応付けはどうなるのか？


海馬

基底核新皮質

扁桃核


AIからの全脳アーキテクチャ仮説 (α版)



実行器

報酬



知覚行動


意図

目的

状態

効用状態

状態海馬基底核

新皮質

報酬生成

外部環境

扁桃核

状態/知覚

行動

意図

効用/報酬

情報の種類

目的

生物的な知能エージェントの一般形 (WBAの出発点案)


【仮説】海馬は脳の目的ベース機能を支える


(O‘Keefe & Nadel, 1978)


実行器


意図

目的状態

海馬


【仮説】海馬CA3が状態遷移モデルの本体 (O‘Keefe & Nadel, 1978)

29

CA3が状態遷移モデルとして有力である理由状態間を関係付けうるリカレントループ

一回の提示で記憶しうる長期増強(LTP)) 位相歳差による繰り返し刺激


(佐藤直行，第三回全脳アーキテクチャ勉強会資料, 2014)

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS30

コラム：脳内の表現について思うこと知能エージェントの表現は二種類に分けられる

本稿であげた，6種類の表現は，以下の二種類に分類される

一般化状態：状態，行動，目的，意図

行動は常に現在の状態として観測でき，ある状態対しては常に行動を伴い意図や目的としても捉えられるので，これらは一般的な状態とまとめられる．

評価系：報酬，効用

これらは，上記の一般化状態を評価する

脳内の表現はコピー出来ないので指し示すしかなさそう

一般化状態の表現(例えば”ある場所”)を，別の脳部位にコピーすることは難しく，同一性を保ちながら学習することは更に困難を極める．

表現の関連付けはインデックス仮説のように指し示す他にはなさそう．

「グラフ型変数」というような呼び名はあるのか？

脳内の活動は，高次元スパース表現と言われていて．状態間の類似性や遷移関係を表すグラフ表現が基本になっていそうである．

こうした場合，グラフ上のある一状態を示す変数という概念を説明したいが，たとえば「グラフ型変数」というような呼び名が見当たらない．



嗅内野

海馬

【仮説】海馬は意図を生成する海馬が意図(予測しうる望ましい状態)を生成すると考える理由理由１：意図を生成するために状態遷移モデルがCA3に存在する理由２：意図の表現(場所等に対応)を，新皮質に別途設けるのは考えづらい理由３：迷路中の齧歯類は，停止時に”遠方”や”逆向き”の移動に対応する活動を示すことがある．これは，計画に関わる意図と考えられる．

意図のような行動に関わる出力の存在は，神経科学知見からは指示されていの支持は弱い．

AI研究者などが，未知の実験事実を予測する理論研究のチャンスがある．

(Anatoli Gorchetchnikova, Michael E. Hasselmob, “A model of hippocampal circuitry mediating goal-driven navigation in a familiar environment”, Neurocomputing, 2002 より改変)

Anterior thalamic nucleus (ATN) and cingulate motor area (CMA)

意図

目的状態

海馬台 CA1

Ⅱ層

CA3

Ⅲ層

Prefrontal cortex Postrhinal cortex Parietal cortex

31


タスク空間

タスク空間

再利用性の高いタスク空間への変換

32

自己中心座標(シーン）環境中心座標(地図）



地図と部分軌跡に対して事後信念を推定

多時刻オンラインSLAM

事後確率 p(xt, m | z1:t, u1:t) の推定

m : 地図， xt, 姿勢， z1:t : 計測， u1:t ：制御

m : 地図

xt, 姿勢 (Place Cell)

z1:t : 計測 u1:t ：制御

Johns Hopkins University <http://krieger.jhu.edu/mbi/knierimlab/research/>

タスク空間(地図)を扱う海馬とSLAM


海馬

タスク空間

タスク空間

タスク空間

Grid Cell

タスク空間

(「確率ロボティクス (ROBOT books), 2007」より）


タスク空間

タスク空間

【仮説】再利用性の高いタスク空間への変換海馬＋内嗅野(EC)ループが作り出す時間を含む内部状態が再利用性の高いタスク空間を作り出す

(O‘Keefe & Nadel, 1978)

内嗅野

34

歯状回

(佐藤直行，第三回全脳アーキテクチャ勉強会資料, 2014)


対応付け(自己位置推定)に重要な時系列情報

自己位置推定の技術を見ると，移動履歴としての時系列を用いることが，本質的に重要であることがわかる．参考書籍「確率ロボティクス (ROBOT books)」もしくは(http://d.hatena.ne.jp/meison_amsl/20130104/1357274943)ページにも解説があります．



局所時系列を用いた等価性構造抽出技術

C

A B

D E F Z

X Y

Time

1 2 3 4 5 6 7

Time

1 2 3 4 5 6 7

部分空間部分空間

結合されたフレーム

Time: t

Varia

ble

set :

x

D

F E

G

A

H

Input sequence

1 2 3 4 5 6 7

B C

元のフレーム不変性が，帰納推論の能力を高める

等価性構造

Time: t

Varia

ble

set :

x

D

F E

G

A

H

Input sequence

1 2 3 4 5 6 7

B C


(局所時系列と用いた)タスク空間変換の獲得機能を一般化

等価性構造抽出：変数集合の対応付け探索


等価性構造抽出の関連研究

Group Invariant Representation：

S. Mallat, “Group invariant scattering,” Communications on Pure and Applied Mathematics, vol. 65, no. 10, pp. 1331–1398, Oct. 2012.

C. Zhang, G. Evangelopoulos, S. Voinea, L. Rosasco, T. Poggio, A Deep Representation for Invariance And Music Classification, CBMM Memo No. 002, 2014.

山川宏, 局所多次元時系列の関係表現としての性質の実験的検討, JSAI2013, 3H4-OS-05c-2in, 2013.



等価性構造の抽出が重要な機能を支える


類推

?

地図への対応付け

メンタルローテーション

構造マッピング理論

【SLAM】

=

等価変換理論(創造性の理論)

不変性の抽出(物体認識)

等価性構造の抽出

※フレーム問題に必要な情報選択機能にも，等価性構造抽出法を利用できそうである．

38

(「日本創造力開発センター」等価変換理論展開の定義より)


豊富な表現を作り出す局所時系列


変数選択は指数関数のオーダで増加． SN(d) = NCd

Time: t

Varia

ble

set :

x

D

F E

G

A

H

Input sequence

1 2 3 4 5 6 7

B C

Time: t

Varia

ble

set :

x

D

F E

G

A

H

Binary sequence

1 2 3 4 5 6 7

B C

局所時系列次元数 d=3 長さ=5

局所時系列の多様さは2階の指数関数オーダで増加．

(山川, 反転分布に対称性を仮定した関係縮約, JSAI 2012, 3N1-OS-21-1, 2012)

時系列により生ずる多様性が等価性構造抽出を支える


Eye 視覚野

海馬の時系列処理が高次特徴量を作る


尾状核最善手の選択

V1

V2

V3

MTG /V6

楔前部局面の認識

将棋における直観

将棋盤

楔前部

プーリング

畳み込み

プーリング

畳み込み

プーリング

畳み込み

プーリング

畳み込み

新皮質における高次特徴量 • 直観的な意思決定を支える • 専門家にとっても説明が難しい． • 現状ではDeep Learningでも学習困難

海馬学習を支える

初期視覚における不変性

顔認識の高次特徴の不変性


【仮説】海馬がユークリッド空間を作り出す

状態遷移モデルに「距離」と「方向」を導入して，ユークリッド空間を構成 → 空間推論が可能に

41

近道を探すには

EC

現在地

ホーム

内嗅野(EC)等に存在する２種の神経細胞

• グリッド細胞距離を表現する格子状の表現

• ヘッドディレクション細胞

方向を表現する


海馬機能のまとめ (本日の話題の範囲で)

状態遷移モデル：時間発展する状態を記述するモデルと，その効率的な構築機能海馬CA3がモデルを表現する．長期増強(LTP)＋繰り返し刺激で，一過性イベントを記憶

意図生成：状態遷移モデルを探索して，意図(望ましい予測)を生成する機能海馬CA3とその周辺器官(CA1, DG)との連携で実現か？

タスク空間への変換局所時系列を利用し，再利用性の高いタスク空間に，対応付ける内嗅野＋海馬のリカレントループが，時系列内部状態を作り出す自己位置推定においては，「タスク空間＝地図」一般的には，等価性構造の抽出(類推，不変性などに関わる）

空間推論：距離(グリッド細胞)と方向(Head Direction細胞)によりユークリッド空間を構成

42


まとめ



まとめ：全脳および海馬のAI観点からの仮説紹介

WBAアプローチを活かすには，仮説構築･検証・洗練が重要

AI観点でのWBA仮説(α版) を紹介新皮質＝認識器＋実行器，海馬＝目的ベース，基底核＋扁桃核＝効用ベース

海馬についての仮説海馬CA3のリカレントループが，状態遷移モデルに対応 CA3とその周辺器官の連携で，意図(望ましい予測)を生成する内嗅野を含むループが，タスク空間を作り出す内嗅野のグリッド細胞がユークリッド空間を構成する(空間推論に必要)

最後に：皆で仮説の提案・検証・洗練を加速し，WBAを創造しよう


Technology

第３回全脳アーキテクチャ勉強会(山川)発表資料