クロスモーダルWS輪講発表

“Hearing Visual motion in depth”Norimichi Kitagawa & Shigeru IchiharaNATURE Vol.416 2002

発表者：東京大学 伴祐樹

クロスモーダル残効

Afftereffect

残効とは

• 刺激消失後に生じる感覚・知覚上の変化

• 神経系の順応によって生じる

色彩残効錐体からの信号(赤)

↓赤-緑反対色チャンネル

が反応「赤が出てるよ！」

↓(赤色を受信し続ける)

↓「赤が出てる」反応が弱まる

網膜には赤-緑，黄-青，白-黒に応答するセンサがありその応答量の割合で色を感じ分ける (反対色説)

(出展：http://www.kecl.ntt.co.jp/IllusionForum/v/colorAfterimage/ja/)

色彩残効「赤が出てる」反応が弱まる

(順応)↓

赤-緑反対チャンネルのバランスが崩れる

↓相対的に「緑が出てる」

反応が強まる↓

緑色がみえる

網膜には赤-緑，黄-青，白-黒に応答するセンサがありその応答量の割合で色を感じ分ける (反対色説)

(出展：http://www.kecl.ntt.co.jp/IllusionForum/v/colorAfterimage/ja/)

運動残効

網膜の運動方向選択性神経節細胞 (Directionally Selective Ganglion Cells :DSGCs) などが寄与

に発火する細胞

に発火する細胞

一定方向の刺激

順応により反応が弱まる

に発火する神経細胞の出力が相対的に強まる

視覚の残効

• 運動残効

• 色彩残効

• 図形残効

• 方向の残効

etc.

視覚の残効

• 運動残効

• 色彩残効

• 図形残効

• 方向の残効

etc.

これらを組み合わせた残効も確認されている

随伴性残効(McCollough Effect(方向＋色彩)等)

聴覚の残効

• 定位残効

• 周波数変化

• スペクトル形状変化

• ラウドネス変化

etc.

残効に対する研究

• 残効の持つ選択性を利用し，その特徴を処理する機構の特性を明らかにする研究が主

• 残効は”fairly low-level neural processing”であり，感覚モダリティの境界を超えて生じると考えられることはほとんどなかった

クロスモーダル残効

• もしも感覚が独立でないならば，一方の感覚モダリティでの順応がもう一方において残効を生じさせるかもしれない

(視覚)サイズ変化残効

Visual changing-size afterefect

(聴覚)ラウドネス変化残効

Auditory changing-loudness afterefect

＋

クロスモーダル残効実験

• 視覚刺激への順応でラウドネス変化残効が発生するか

• 視覚刺激＋聴覚刺激への順応で聴覚の残効量が変化するか

クロスモーダル残効実験• 視覚順応刺激

• 持続時間: 2sec• 四角形の一辺が視角にして0~2度拡大・縮小

• 聴覚順応刺激

• 1000Hz 正弦波，2sec• 音圧レベル20~60dB SPLの間を±20dB/sで上昇・下降

主観的に音の大きさが変化していないと知覚される音圧レベルの変化速度を測定

V＋ V−

A＋ A−

クロスモーダル残効実験

縦軸: 残効量(順応なしーあり

正の値:音が大きくなっていく残効

負の値:音が小さくなっていく残効

クロスモーダル残効実験

縦軸: 残効量(順応なしーあり

正の値:音が大きくなっていく残効

負の値:音が小さくなっていく残効

視覚的なサイズ変化への順応がラウドネス変化残効に影響する

クロスモーダル残効実験

縦軸: 残効量(順応なしーあり

正の値:音が大きくなっていく残効

負の値:音が小さくなっていく残効

同方向の順応で残効量が増大

クロスモーダル残効実験

縦軸: 残効量(順応なしーあり

正の値:音が大きくなっていく残効

負の値:音が小さくなっていく残効

逆方向の順応では視覚順応の効果がない

クロスモーダル残効実験視覚刺激を立体視による奥行表現に変更

拡大縮小に比べ効果は落ちるものの視覚的な奥行運動の手がかりが聴覚残効に影響

補足：視覚優位性

単耳だけに順応音を提示した場合，視覚的な順応の効果が現れにくい

視覚の奥行運動情報 → 聴覚の音圧変化処理

視覚の奥行運動情報→聴覚の奥行運動処理→聴覚の音圧変化処理○×

まとめ

• 感覚モダリティの境界を越えた残効の測定は，感覚間相互作用を明らかにしていく上で非常に有用

• 本論では，視覚刺激のみの提示が聴覚に影響を及ぼし，聴覚系が視覚的な奥行運動にも反応することを発見

• 視覚の順応によって聴覚残効が発生することから，視覚と聴覚の間に，それらの入力を統合して聴覚に影響を及ぼすようなマルチモーダルなプロセスが生じていると考えられる