視覚処理を参考とした画像処理 － 動きと色による移動物体検出 －

中島慶人、上野晴樹

総合研究大学大学院大学 複合科学研究科 知能システム研究系 上野研究室 E-mail: c_nakajima@grad.nii.ac.jp

１．背景・目的 現在，ロボットと人間の自然な共生を目指す研究が進む中で，処理対象ごとに画像処理プログラムを逐一

準備せずに，視覚のように各種対象を検出し認識する画像処理方式の開発が望まれている。

一方で，生理学者の活発な研究活動により視覚野の階層構造と各部位の機能が明らかにされ，細胞反応レ

ベルでの数理モデルや，視覚野の階層関係を示すモデルなどが提案されている。しかし，各脳細胞の数理モ

デルを工学応用として画像処理に適用するには，処理が非効率である。また，視覚野の階層関係を示すモデ

ルを参考に工学応用に利用する画像処理プログラムを作成するには，具体的な方法が不明である。

そこで，本研究では生理学で得られた人間の視覚野の構造と機能を参考に，各種対象を検出し認識する画

像処理プログラムの作成方式の検討を行っている。本発表では，その中でも動きと色の処理に着目し，計算

量のかからない移動物体検出方式を示す。

1

画像RGB

V2

雑音除去

中局所（色，線）

検出，認識

V1 V4 ITLGN

局所（点，線，色）

抽出領域（色，形）Ｐ経路

国際会議 ICPR’98[2]

特徴検出処理

電気学会論文誌 2001[3]

ＩＣＩＰ 2004 （予定）

Pattern Reco. 2003[6]

物体検出/認識

人物検出/認識

姿勢検出/認識

２．参考にする視覚野の構造と機能 生理学実験や臨床実験の知見から，視覚野の構造と

その機能の概要を取りまとめた階層モデルが提案され

ている。本研究では対象物体を検出し認識する画像処

理プログラムを作成する観点で，提案されている既存

の視覚野モデルの一部（図１に示す視覚野の構造と機

能）を参考にする。

網膜で取り込まれる信号は，網膜段階から X 型細胞

と Y 型細胞と呼ばれる２種類に分離される。各細胞の

出力は外側膝状体(LGN)と呼ばれる場所で統合され，そ

の信号が 1 次視覚野(V1)へ送られる。網膜上で Y 型細

胞の処理領域が X 型細胞よりも広く，信号伝達速度も

速い。高次視覚野に向かうこの２種類の信号経路はそ

れぞれＭ経路（大細胞系あるいは背側経路），Ｐ経路（小細胞系あるいは腹側経路）と呼ばれ，その先の視覚

野の機能が異なっている。Ｍ経路は低解像度の白黒画像を高速に処理する細胞の集まりであり，Ｐ経路は高

解像度の画像で色や形を扱う細胞の集まりである。ただし，Ｍ経路とＰ経路の配線が完全に分離されている

状態ではなく，視覚野の上位で相互に連結した状態とな

1次視覚野

V1

外側膝状体

２次視覚野V2

中側頭野MT

中上側頭野MST

４次視覚野V4

網膜 Mo 抑制

Mf 興奮

Y細胞

X細胞

下側頭野IT

線

点線，色

点線，色

色形

検出，分類

カメラの動き

物体の動き大細胞

小細胞

背側経路 ( M経路 （Magnocellular))

腹側経路 ( P経路 （Parvocellular))

（立体視）

図１．参考とする視覚野の構造と機能の概要

っている。

３．画像処理への活用方式 を参考に，カメラ

画像RGB

v-MSTMo

Mf

雑音除去

局所（動き）

中局所（動き）

V2

雑音除去

（カメラの動き）

中局所（色，線）

検出，認識

V1

（物体の動き）

V1

V4 IT

LGN

LGN

局所（点，線，色）

立体

大局的な動き

d-MST

抽出領域（色，形）

Ｍ経路

Ｐ経路

図２ 提案する画像処理プログラムの構造と機能

図１に示した視覚野の構造と機能

で撮影した画像をＰ経路とＭ経路に分けて独立に処理

する画像処理を提案する。図２に処理の概略を示す。

Ｍ経路では低解像度の白黒画像を高速に処理し，画像

内の動きを検出する。Ｐ経路では高精細な画像で物体

を認識/分類する。

Ｍ経路

3.1 Ｐ経路 Ｐ経路では初期視覚野から得られる色や形など

の特徴を使い，最終的に物体認識を行う部分と仮

定する。本研究では，画像処理で色や形の特徴を

検出し，機械学習で物体を認識する枠組みとして

Ｐ経路を模擬する。図２にＰ経路を参考にした特

徴検出[2]，物体認識[3,4,5]，人物認識[6]の結果

を示す。

図３ Ｐ経路を参考とした物体/人物認識の実験例

3.2 Ｍ経路

画像RGB

v-MSTMo

Mf

雑音除去

局所（動き）

中局所（動き）

（カメラの動き）

（物体の動き）

V1LGN

大局的な動き

d-MSTＭ経路

Ｐ経路

MT野

図４ Ｍ経路での動き解析

Ｍ経路のMT野には受容野内で動きがあるときに反応

する Mf 型細胞と，受容野の中心と周辺が異なる動きの

時に反応する Mo 型細胞がある。特に，動いている対象

物体を検出するには Mo 型細胞の機能が適している。Mo

型細胞の生理学的な概念モデル[1]が提案されている

が，本研究では下記のように定式化して，移動物体を

検出する。

念モデル[1]が提案されている

が，本研究では下記のように定式化して，移動物体を

検出する。

はじめに画像の局所領域でオプティカルフローを求め（V1 野の機能），画像内の特定枠での動きベクトル

の平均Ａを計算する。次に特定枠周囲の８近傍領域の平均ベクトルをＢとして，そのなす角度

はじめに画像の局所領域でオプティカルフローを求め（V1 野の機能），画像内の特定枠での動きベクトル

の平均Ａを計算する。次に特定枠周囲の８近傍領域の平均ベクトルをＢとして，そのなす角度

/cos /cos ABθ = A Bi の２乗値が一定値以下である部分を検出する。

画像RGB

v-MSTMo

Mf

雑音除去

局所（動き）

中局所（動き）

V2

雑音除去

（カメラの動き）

中局所（色，線）

検出，認識

V1

（物体の動き）

V1

V4 IT

LGN

LGN

局所（点，線，色）

大局的な動き

d-MST

抽出領域（色，形）

Ｍ経路

Ｐ経路

図５ Ｍ経路での動き解析とＰ経路の色解析の連携

3.3 Ｐ経路とＭ経路の統合による移動物体検出 Ｐ経路のみを使用した画像内の物体認識/検出は，１

枚の静止画内を探査する必要があり，計算時間と計算

パワーが要求される。そこで，MT 野と V4 野の接続に着

目し，図５に示すように MT 野の Mo 型細胞の機能で移

動物体領域を抽出した後に，物体領域の色や形情報を

V4 野で取得する２段階処理で，移動物体検出を実現す

る。

図５の処理ではV4野での色処理を実現する必要があ

る。V4 野は色と形を処理しており，特に，V4 野が色の

知覚や色の恒常性に寄与していることが動物実験や臨

床実験などで示されている。そこで本研究では，V4 野

は物体認識に必要な色や形状特徴を収集する部位と仮

定し，画像内を色により領域分割を行う処理と仮定す

る。図６に色空間 HSV を使った画像処理により画像領

域を分割した実験例を示す。

図６ 画像内を主要な色

に分割した結果（画面全

体で占める割合の多い２

種類を表示）

４．動きと色による移動物体領域検出実験 基本的な機能を確認するために，移動物体検出実験を行った。カメラを動かす代わりに，背景を一定方向

（上から下）に動かし，その前面で赤いボックスが左から右へ動く CG 画像を実験用に準備した。図７が実験

結果であり，a.局所動きベクトルの検出結果，b.背

景と異なる動きベクトル検出結果，c.動き部分の色

の検出結果を示す。今回の CG 実験結果から，提案方

式が機能していることが分かる。

説明用補助線 なお，上記処理で検出した移動物体を，顔や車な

どの一形状として検出するには，Ｐ経路での物体認

識による物体の形状認識結果のフィードバックが必

要である。 a.動きベクトル b.孤立した動き c.孤立領域の色検出

図７ 変動背景画像からの移動物体検出結果

５．おわりに 今後，移動カメラで撮影した実風景画像から独立に移動する物体が検出できるように，実験と改良を行う。

その後，これまでに開発した IT 野の機能に相当する認識機能との結合を図る予定である。

参考文献 [1]H. Saito; Hierarchical Neural Analysis of Optical Flow in the Macaque Visual Pathway, Brain Mechanisms of Perception and

Memory, Oxford University Press, pp. 121-139, 1993.

[2] C. Nakajima; Extraction of Salient Apexes from an Image by Using the Function at the Primary Visual Cortex, ICPR, Vol.

1, pp.720-790, 1998.

[3]中島慶人, 伊藤憲彦; 画像処理による物体認識と位置姿勢判定,電気学会論文誌, Vol.121-C No.10, pp.1516‐1523, 2001.

[4]堤富士雄,中島慶人; 画像検索と機械学習を組み合わせたビデオ映像認識システム, 電気学会論文誌 Vol.121-C No.10,

pp.1524-1529, 2001.

[5]C. Nakajima and N. Itoh; A Support System for Maintenance Training by Augmented Reality, ICIAP, pp.158-163, 2003

[6]C. Nakajima, M. Pontil, B. Heisele and T. Poggio; Full-Body Person Recognition System, Pattern Recognition，Vol. 36, pp.

1997-2006, 2003.

2