エクサフロップス級計算機による人間の大脳皮質規模の神経回路シミュレーション

五十嵐 潤

理化学研究所 情報基盤センター 計算工学応用開発ユニット 上級センター研究員

ポスト京 萌芽的課題4

本日の内容

0. 自己紹介

1. 脳の特徴

2. さまざまな脳のシミュレーション

3. 3. ヒト規模の大脳皮質シミュレーションに向けた取り組み

1. 脳の特徴

A. 人間の脳にある神経細胞の数 約86,000,000,000 （860億）個 ！ 神経細胞の方が地球の人間よりも10倍以上多い！

出典 Cajal Blue Brain Web

A. 神経細胞をつなぐ結合の数 約100,000,000,000,000（100兆)個！

脳の中の結合を合わせると地球何周分もの長さ

脳はこの世で一番複雑な構造物

脳の柔軟な思考と創造性

コンピュータ

–計算は早い

–言われたことだけする

人間の脳

–計算は遅い

–高度な認識、柔軟な学習

–創造性

出典 脳の写真 Herculano-Houzel, 2009

脳は超省エネ

世界最速スパコン：

神威太湖之光(中国）

1537万ワット （TOP500, 2017年11月時点）

人間の脳

約10ワット 100万分の１以下

出典 脳の写真 Herculano-Houzel, 2009

脳はまだ未解明

脳が膨大な数の神経細胞や結合によって、どのように情報を処理しているのか、わかっていない

困難な問題

神経細胞や結合が複雑で数が膨大なため、全ての活動や相互のやり取りを把握できない。

☆ 脳のシミュレーションの利点 - シミュレーション上では、全ての活動や相互作用を記録できる - 何度でも、どんな状態でも試せる - 動物実験の代替えができる

もし脳が解明できたら…

• 脳の病気の治療

• 効率のいい勉強法

• 人間のように考えるパソコンやロボット

• 我々の存在へのヒント

社会問題の解決、社会への貢献が多数見込める。

(C) tezukaosam.net

2. 脳のシミュレーション

スーパコンピュータの性能と神経回路シミュレーション規模の推移

1神経細胞 Hodgkin and Huxley, 1952

16億個 Ananthanarayanan et al., 2009

17億個 Kunkel et al., 2013

1950 1960 1970 1980 1990 2000 2010 2020

演算性能

(FL

OP

S) エクサ1018

ペタ1015

テラ1012

ギガ109

メガ106

キロ103

100万個 Izhikevich and edelman, 2008

3460個 Traub et al, 2000

1600個 Destexte et al, 1994

?

シミュレーション規模は、ムーアの法則に従う計算機性能上昇とともに拡大。2020年頃にはエクサ級の計算機でどれだけ拡大するか？

図：AMD, 2010資料

ネコの脳規模の新皮質ー視床の神経回路モデル（Ananthanarayanan et al., 2009)

• 新皮質と視床の神経回路モデル

• ネコの脳の規模に匹敵する16億個の神経細胞と8.8兆個のシナプス結合

• α周波数帯(約10Hz)の集団的な振動活動が発生

• IBMのスーパコンピュータBlue Gene/Pを利用（147456 CPUと144TBのメモリー）

ラットの体性感覚皮質 (Markrum et al. 2015 Blue Brain Project)

• 体性感覚皮質、31,000 神経細胞をシミュレーション

• 207 morpho-electorical neuron subtypes

• 計算機：EPFL Blue Brain IV (Blue Gene/Q, 65,536 コア、 839 TFLOPS , Swiss National Supercomputing Center)

• シミュレータ：NEURON simulator

• 皮質神経回路について多数の予測

知的なタスクを実行できる神経回路モデル：Spaun （Eliasmith et al., 2012)

• 脳の各領域で想定される機能を実行する神経回路モデルを組み合わせたモデル。

• 250万個の神経細胞モデル

• デスクトップコンピュータで実行可能

• 8つの知的タスクを実行することができる

Eliasmith et al., 2012

ネコの規模の小脳（10億神経細胞）のリアルタイムシミュレーション (山﨑 (電気通信大学)et al., ,2016) • 10億個の神経細胞からなる小脳の神経回路モデル

• 視機性眼球運動に関する活動を再現

• 脳表面62 x 64 mm2

• Green 500 第3位の菖蒲を用いて実行（理研情報基盤センター）

• Intel Xeon + PEZY SC (MIMD, 1024 cores、2 PETA FLOPS）

モデル模式図

大脳皮質ー視床ー基底核の神経回路モデルによるパーキンソン病の運動症状の研究（HPCI戦略プログラム)

• パーキンソン病：ドーパミン減少による異常ベータ振動や運動症状

• 運動皮質ー視床ー大脳基底核―脊髄ー筋骨格の統合モデル（約300万細胞）を京コンピュータの8192コアで計算

• 大脳基底核のベータ振動機構や震えの発生機構を示唆

大脳基底核

運動 皮質

視床

脊髄 筋骨格

京コンピュータを用いた大脳皮質局所神経回路シミュレーション(Kunkel et al., 2013)

京で17億3000万個の神経細胞と10兆4000億個のシナプスのシミュレーション実行を確認(2013年プレスリリース）

Herculano-Houzel, 2009

マーモセット 約6億個

ヨザル 約14億個

マカクザル 約63億個

京では小型のサル程度の規模のモデルの実行が可能であることがわかった。さらに60倍規模を拡大すると人間の規模に達する。

ヒト 約860億個

京で17億個

京で実行した神経回路モデルの規模と動物の脳の神経細胞数

ヒト全脳規模の神経回路モデル実行に必要な計算性能

• エクサフロップス級の性能で、ヒト全脳モデルの1秒分のシミュレーションを、数時間程度で実行可能との見積もり

• “11PFLOPSの京で17億神経細胞”から外挿すると、1EFLOPSで1700億（＞ヒト860億個）

• 同様の予測が、IBMのネコ規模脳のシ

ミュレーションを行ったグループからも出されている。(Ananthanarayanan et al., 2009 ）。

Ananthanarayanan et al., 2009

細胞数とシナプス数

細胞数 10^11

コンパートメント数/細胞 5000

シナプス数/細胞 10000

FLOP/1秒

細胞 10^21

シナプス 10^19

データ量

細胞 1.6x10^17

シナプス 4.8x10^16

主記憶B/F 0.11

計算科学ロードマップより

Oh et al., 2014 Zeisel et al., 2015

Zingg et al., 2014

全脳神経回路モデル構築に必要なデータ

• 2000年代に入り、遺伝子技術、コネクトームの測定技術が急速に発達し、全脳モデル構築に必要な脳のデータが急速に出現してきている。

– 神経細胞間に関する結合データ（マクロスコッピク、メゾスコピック）

– 構成神経細胞種の同定

– 大脳皮質の脳地図

• 数年～１０年内に様々な動物の脳のデータが爆発的に出現する。

Hunnicutt et al., 2014

Mouse connection matrix

Mouse neocortex Connectome

Mouse thalamocrtical connetcion

Mouse cell types identification

Glasser et al., 2016

Human brain map

2022年、”ポスト京”でヒト全脳規模の脳シミュレーションを！ ポスト京萌芽的課題 思考を実現する神経回路機構の解明と人工知能への応用

（代表：沖縄科学技術大学院大学 銅谷賢治）

ヒト 約860億個

ヨザル 約14億個

2017年 京 11 PFLOPS

2022年 ポスト京 ~1EFLOPS

人間の脳規模 小型のサルの脳規模

京の百倍の性能のポスト京で全脳規模のシミュレーションを実現し、脳のしくみや脳の病気の解明、人工知能への応用を目指す

NEST simulator Diesmann (JRC)

ポスト京 萌芽的課題4思考を実現する神経回路機構の解明と人工知能への応用(2016年8月-2020年3月)

大脳皮質 五十嵐 (理研)

小脳 山崎(電通大)

結合解析 大羽(京大)

大脳基底核 銅谷 (沖縄科技大)

脳型AI 石井 (京大)

BriCA 高橋(理研)

深層学習 原田(東大)

人工知能 結合解析、哺乳類全脳シミュレーション

昆虫全脳シミュレーション

神崎(東大)

視覚皮質 稲垣(中部大)

海馬 立野(九工大)

エクサスケールコンピューティングで可能になる大規模神経回路シミュレーションのターゲット：複数脳領域間の相互作用による情報処理と神経疾患

• 脳は複数の脳領域が相互に協調し複数のモダリティに関する処理、異なる種類の処理を行う領域が相互作用している。例えば、大脳皮質、小脳、大脳基底核がどのように相互作用し、処理を行っているか良くわかっておらず、シミュレーションのターゲットとなる。

• パーキンソン病、てんかん、うつ病など多くの脳の疾患の場合においても、複数の脳領域が直接、間接的に影響し合い発生する。その機構解明に全脳規模のシミュレーションによる、複数脳領域のシミュレーションが有効。

Proville et al., 2014 Helmich et al. 2012

エクサスケールコンピューティングよる大規模神経回路シミュレーションのターゲット： 脳の振動的神経活動による情報処理

• 脳では、神経細胞集団が同期して様々な周波数帯の振動的活動を発生する (θ:-4-8Hz、 α:8-15、β:15-40 γ:40-200Hz）。

• 行動特異的に振動は発生し、情報処理に関わるとみられるが、よくわかっていないことが多い。

• 神経疾患で異常な振動的活動がよく見られ、疾患の機構解明にも重要である。

• 振動的活動は神経細胞集団の協調した活動であり、大規模シミュレーションで扱うことができる。

• 振動的活動は人工知能にない大きな特徴で、応用の可能性がある。

Igarashi et al. 2013

Tachibana et al., 2011

phase phase

Fries , 2005

表層 深層

Sato and Yamagucih, 2003

3. ヒト規模の大脳皮質シミュレーションに向けた取り組み

脳の神経回路構造: 近傍が密で遠方は疎な結合を持つ層状シート

• 99% の神経細胞は大脳皮質(20%)と小脳(80%) に含まれる (Herculano-Houzel, 2009)

• 大脳皮質と小脳はミルフィーユのような、層状のシート構造である。

• 結合は脳領域内近傍(1mm)で密で、脳領域間 (>1mm)では疎

大脳皮質

小脳 Glasser et al., 2016

Fig.：Neuroscience Mark F. Bear

Oh et al., 2014

Ctx

Str. Th.

Cere.

Hipp.

２次元シート

Post synaptic sites P

re s

ynap

tic

site

s

層構造

近傍は密

長距離は疎

展開

層状シート型神経回路をどうやって並列計算するか：

タイル分割

• ２つの並列化法: – ラウンドロビン法: ロードバランス、集団通信

– 空間分割法: 局所的な空間構造保持、1対1通信

• ロードバランス：両方可

• 通信：結合の空間構造を利用した効率化

• 近傍が密で遠方は疎な結合の層状シートを考慮し, 空間分割法であるタイル分割を適用する

層状シート型の脳モデル

計算ノード

? CN1

CN1

CN1

CN1

CN1

CN1

CN1

CN1

CN1

CN1

CN1

CN1

空間分割法 1対1通信

ラウンドロビン法 集団通信

並列化

層状シート型大脳皮質モデル

層: 1, 2/3, 5A, 5B, 6

層の厚み (Weiler et al 2008), 細胞密度 (Lev and White

1997)

神経細胞数: 38,000 / 1mm2 ＝1タイル

神経細胞モデル: Leaky integrate-and-fire neuron model

結合の空間範囲: 2D Gaussian function (Weiler et al. 2008,

Katzel et al., 2010, Apicella et al., 2012)

1.4 mm

層状シート型の大脳皮質モデル

L1 L2/3 L5A L5B

L6

1mm

)(tRIvdt

dvm

resetvvthenthresholdvvif _,_ 　　　

Katzel et al., 2010

計算環境

★京コンピュータ(計算科学研究機構 , 日本) – CPU：Fujitsu SPARC64 VIIIfx – CPU数：88,128 (~11 PFLOPS) – Memory： ~1.3PB – Network：ToFu interconnect (6D

torus)

★プログラミング言語: C, Message Passing Interface (MPI) library

近傍で密、遠方で疎な結合を持つ、複数領域を持つ層状シート型大脳皮質モデルのタイル並列化

タイル並列と通信回数削減法を適用し、良好な弱スケーリング性能が得られた。

計算ノード数の上昇でさらなる規模拡大が期待できる。2022頃には、エクサスケール計算機のポスト京でヒト規模の大脳皮質モデルを実施する予定。

1mm=1node

Layer structure

1mm2

=1タイル =1計算ノード 長距離結合

M1 S1 M2 S2

0

100

200

300

0 40000 80000

計算ノード数

~1.8 billions

neurons

計算時間

(se

c)

まとめ 局所的に疎で遠方には疎な結合を持つ層状シート型の大脳皮質神経回路モデルについて、効率的な並列化法と通信法について調べた。

タイル並列化と長距離結合の通信頻度削減法によって、層状シート型モデルの、理想的な弱スケーリング性能が得られ、約18億神経細胞のシミュレーションが実現した。エクサフロップス級の次世代計算機で人間規模の大脳皮質シミュレーションが期待できる。

次の課題は、大脳皮質－視床、小脳、大脳基底核からなる全脳モデルをエクサフロップス級の計算機で実現し、運動や思考に関する情報処理機構の解明を目指すことになる。

Blue：小脳 Red：視床

山浦、2017、神経回路学会

大脳基底核

運動 皮質

視床

脊髄 筋骨格 戦略プログラム、2013

謝辞 • Shigeyuki Oba, Shin Ishii (Kyoto University)

• Tadashi Yamazaki, Hiroshi Yamaura (University Elector-Communication)

• Kenji Doya, Carlos Enrique Gutize (Okinawa Institute of Science and Technology)

• Koichi Takahashi (RIKEN QUBIC)

• Tatsuya Harada, Yoshitaka Ushiku (Tokyo University)

This work was supported by Post K Exploratory Challenge #4 "Understanding the neural mechanisms of thoughts and its applications to AI“