情報処理学会研究報告IPSJ SIG Technical Report

小型画像処理モジュールとステレオカメラを用いた装着型監視システムの開発

白神康平 満上育久向川康博 八木康史†1

装着型監視とは，保護対象のユーザを中心とした環境を監視するものであり，従来の監視カメラを用いた定点監視とは違った新しい監視手法である．本研究では，このような装着型監視を行うためのシステムを，ステレオカメラと小型画像処理モジュールを用いて開発した．また，装着型監視システムにおける重要な機能の 1つとして本人認証があるが，これを行うために装着者の歩行パターン情報を利用できることが知られている．そこで，ステレオカメラによって遠方の特徴点を抽出し，そのフロー情報から，装着者の歩行パターンをよく表すカメラの姿勢情報を推定する処理を同システム上に実装した．

Development of Wearable Surveillance System usingCompact Image Processing Module and Stereo Camera

Kohei Shiraga, IkuhisaMitsugami, YasuhiroMukaigawaand Yasushi Yagi†1

In this paper, a wearable surveillance system using a compact image processing mod-ule and a stereo camera pair is prototyped. One of the important functions of this systemis authentication of its owner, who should wear it. For this authentication, we use rota-tion information of the camera installed in the system, which well represent gait patternsof the owner. The rotation can be estimated effectively based on far feature points in cap-tured scenes. We thus implemented the rotation estimation on the prototype system, andconfirmed its accuracy by experiments using synthetic scenes.

†1 大阪大学産業科学研究所Institute of Scientific and Industrial Research, Osaka University

1. は じ め に

近年，多くの監視カメラが街中に設置されるようになった．これらは駅や学校，銀行やコ

ンビニエンスストア，一般家庭の玄関など，様々な場所で防犯のために役立っている．しか

し，これらの環境において監視カメラを網羅的に配置することは難しく，必ず死角が存在す

る．そして犯罪は，このようなカメラに映らない場所で発生することが多い．

そこで，装着型監視1)2) という新しい監視方法が提案されている．装着型監視では，小型

カメラと画像処理用の小型コンピュータが一体となったシステムをユーザが身につけ，常に

ユーザを取り巻く環境を監視する．保護対象のユーザを監視する環境の中心に据えること

で，効率的な監視を行える．例えば，昨今，安全対策の必要性が指摘されている小学校低学

年向けの装着型監視システムがあれば，児童らが通学中に人通りの少ない道を歩いている場

合にも，監視システムが常に周囲を見張っているので，防犯性を高めることができる．この

ような装着型監視を行うシステムに対する要求として，システムが小型・軽量で容易に着用

できること，リアルタイムに画像解析を行い危険の感知および通知を行えること，本人認

証ができること，等があげられる．本人認証とは，システムを実際に装着している人物が，

システムにあらかじめ登録されている人物と一致するか否かを認識する機能を指す．装着型

監視では，監視環境の中心に保護対象が存在することを前提としているため，本人認証機能

によりこの前提が成り立っていることを保証する必要がある．

関連する研究として，近接物体を感知し音で警告する装着型防犯アラーム1) がある．この

防犯アラームは，複眼全方位センサと小型コンピュータを組み合わせ，スタンドアローンな

システムによるリアルタイムな全方位監視を実現している．東ら2) は，1)を踏まえ，より小

型な複眼全方位センサと，センサの動物体検出法を提案した．本人認証を行うための要素

技術として，複眼全方位センサによる，センサの自己運動推定法3) がある．この方法は，複

眼全方位センサにより得られる画像上の特徴点を遠近分離し，これらを効果的に利用する

ことで，センサの並進運動および回転運動の推定を高速に行うことを実現している．また，

Mantyjarviら4) は，加速度センサによる歩行パターンの情報から，個人を識別しうることを

示した．

本研究では，以上を踏まえ，小学生を対象にした装着型監視システムを開発する．本シス

テムでは，センサとしてステレオカメラを用いる．処理を行う小型コンピュータには，1)で

問題となったコンピュータの処理能力不足を回避するため，最新の小型画像処理モジュール

を用いる．以上の機器を，本システムではランドセルに取り付ける形で使用する．また本人

1 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

図 1 装着型監視システム

認証を行うために必要となる運動推定法として 3)を採用し，これを小型画像処理モジュー

ル上で実装する．

2. 装着型監視システム

装着型監視の概念図を図 1に示す．装着型監視システムは，主に，システムの目となるカ

メラ部と画像処理を受け持つ画像解析部から成る．カメラで周囲の映像を取り込み，この映

像をコンピュータでリアルタイムに解析する．この解析結果より，近くに不審な人物あるい

は物体があれば警告を発する．

装着型監視システムに必要な機能として，以下のようなものがあげられる．

• 携帯性：容易に装着できる程度に，小型かつ軽量であること• 自律性：システムがスタンドアローンで動作すること• 実時間性：周囲の監視および危険の察知をリアルタイムに処理できること• 即時性：検出結果を即時に通知できること以上のうち，はじめの 2つは，システムを装着型として運用するための必要条件である．残

りの 2つは，周囲環境の監視を実現する上での要件である．

また，具体的な機能レベルでの要求として，以下があげられる．

• 本人認証：装着者があらかじめ本システムに登録してあるユーザであるかを識別できること

• 不審な接近物体・人物の感知および通知：装着者に接近する不審な物体あるいは人物を感知し，感知した場合はユーザへの通知を行うこと

装着型監視システムでは，監視する環境の中心を装着者自身としている．この前提条件を確

図 2 システム構成図

実なものとするためには，本人認証が必要となる．小学生低学年の児童らがよく身につけて

いる防犯グッズとして，防犯ブザーがある．防犯ブザーは，児童が不審な人物等を目にし，

児童がこれを危険であると判断して，防犯ブザーを押すという自発的動作により，はじめて

効果を発揮する．したがって，ブザーを押すことができないほどに差し迫った状態では，防

犯ブザーは何ら意味を成さない．装着型監視システムにより，装着者の歩行パターン等を利

用したリアルタイムな本人認証を行っていれば，たとえば (i)装着型監視システムが奪われ

てしまった (ii)装着者自身が危険な状態にある（例えば，何かから走って逃げている）など

の場合においても，これらの異常性を感知することができると考えられる．

3. システム構成

3.1 システム概要

まず，本研究で開発する装着型監視システムのターゲットを明確にする．本システムの装

着者としては，防犯の必要性が高い小学校低学年の児童を想定している．図 1のように，児

童らがランドセルに取り付ける形で本システムを身につけ，主に登下校時での児童らの周囲

の環境を監視する．

システム構成を図 2に示す．本システムでは，外界情報を得るためのセンサとしてステレ

オカメラを使用する．これらはランドセルの上部に装着者の後方を向くように設置し，小型

画像処理モジュールに接続する．小型画像処理モジュールはランドセルの内部あるいは側面

に固定し，カメラから送られるデータをリアルタイムに処理する．

3.2 機 器 詳 細

本システムの様々な処理を担当する小型画像処理モジュールとして，富士通九州ネット

ワークテクノロジーズ社のNXV1-1394-PCB（以下，NXV1と呼称する）を使用する．NXV1

2 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

図 3 NXV1-1394-PCB の外観

表 1 NXV1 の仕様

CPU PowerPC440EPX 666MHzFlash Memory 128MBRAM 256MBOS Linux 2.6.27.9Image Processor MB87Q0530Image Memory 64MBDimensions 120mm × 100mm × 40mmWeight 180gPower 15W

表 2 FFMV-03MTC の仕様

Maximum Resolution 752 × 480Pixel Size 6.0µm × 6.0µmDimensions 22.4mm × 44mm × 34mmWeight 37gPower 1W or less

の外観を図 3に，NXV1の仕様を表 1に示す．

NXV1は高性能な画像処理 ASICであるMB87Q0530を搭載しており，この ASICによっ

て特徴抽出や相関計算を高速に行うことができる．一方，本体重量も 180gと軽量で，消費

電力も大きくないため，装着型システムに適切なデバイスであるといえる．

ステレオカメラとして，小型・軽量・低消費電力であることから，PointGreyResearch社

の FFMV-03MTCを採用した．FFMV-03MTCの外観を図 4に，FFMV-03MTCの仕様を表

2に示す．モジュールに取り込む画像サイズを QVGA，単色画像とする．

開発システムの構成について説明する．図 5(a)に，開発システム全景を示す．本システ

図 4 FFMV-03MTC の外観

(a) (b)

図 5 開発システム

ムでは，ステレオカメラは金属プレート上に平行ステレオとなるよう固定した状態でランド

セル上部に設置し，モジュールと接続する．NXV1およびバッテリーは，図 5(b)のように，

ランドセル内部に設置する．

4. 回転推定法

4.1 システムの運動に基づく本人認証

前章でも述べた通り，装着型監視システムには本人認証機能が必要とされる．本人認証を

行うためには，個性を示す何らかの特徴量が必要となる．また，装着型監視システムにおい

て，このような特徴量はシステムを装着している間，常に取得できるものでなければならな

い．Mantyjarvi4) らはポータブルデバイスの加速度センサから得られる歩行パターン情報に

基づく個人の識別手法を提案している．我々の装着型監視システムにおいても，カメラ画像

3 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

Rotation Parameter

Classify

Detect feature points

Far points Near points

Detect feature points

Far points Near points

Classify

Estimate Rotation

Correspond withCorrespond with

fR

t−1 fR

t

fL

t−1 fL

t

図 6 回転推定の流れ

の揺れから装着者本人の歩行パターンに関する情報を抽出し，本人認証を行うことができる

と考えられる．

4.2 特徴点の遠近分離によるセンサの運動推定3)

システムの運動を推定する方法として，Thanhら3) らによる，特徴点の遠近分離を利用し

たセンサの運動推定アルゴリズムを利用する．センサの動きには，回転運動と並進運動が

ある．カメラに写る物体は，これら 2つの運動の影響を受けるが，遠方の物体に対しては，

並進運動はほとんど影響を与えず，回転運動のみが現れることが知られている．そこで，あ

る時刻 tにおける右カメラの連続フレーム f Rt−1， f R

t のそれぞれで特徴点を抽出し，これらを

ステレオ視により遠方のものと近傍のものに分離した後，遠方のもののみを用いて回転推定

を行う．回転推定の大まかな流れを，図 6に示す．

遠方特徴点を用いた回転推定法では，RANSACベースのアルゴリズムを用いている．ま

ず，前フレーム f Rt−1 と現在フレーム f R

t の画像上の遠方特徴点から，各フレームにつき 2点

ずつランダムにサンプリングする．抽出された点のうち f Rt−1 上のものを P，Q， f R

t 上のも

のを P′，Q′ とする．つづいて，図 7に示すような，Pを P′ に，Qを Q′ に対応させるような回転行列 Rk を，式 (1)より求める．ただし，n = P × Q，n′ = P′ × Q′ とする．

Rk = [P′ Q′ n′][P Q n]−1 (1)

Rk が求まったら， f Rt−1 上の全ての遠方特徴点を Rk によって回転させ，回転先座標からある

範囲内に f Rt 上の遠方特徴点があるような f R

t−1 上の点（これをサポーターと呼ぶ）を数える．

以上のような操作を，決められた繰り返し回数だけ行い，最終的にもっとも多くのサポー

P

P ’

Q

Q’

Rk

図 7 回転行列の計算

図 8 サポーターの計数

ターを獲得した Rk を採用する．

4.3 開発システムにおける実装

本節では，開発システムにおける，回転推定の実装方法について述べる．小型画像処理モ

ジュールでは画像処理演算を高速に行うことができるが，回転推定のような，CPUで行う

ソフトウェア処理はデスクトップ PCに比べ低速である．よって，アルゴリズムの効率化に

より，計算処理の負担を小さくする必要がある．

4.3.1 特徴点抽出

まず，処理の前段階として，右カメラ画像を 8×8ピクセルの小領域に分割する．小領域内

の各点を中心とするような 8×8ピクセルのウインドウで，Harrisオペレータを適用し，もっ

4 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

(a) (b)

図 9 特徴抽出における画面の分割

とも特徴量が大きかったウインドウの中心を特徴点として選択する．ただし，そのもっとも

大きかった特徴量が設定した閾値以下の場合は，特徴点として採用せず，該当小領域は特徴

点を持たないものとする．

またこのとき，画像上で抽出された特徴点が局所領域にかたよってしまうと，後の回転推

定の結果がその局所領域の情報に大きく依存するため，好ましくない．そこで，画像全体で

ある程度均一に特徴点を抽出できるように，右カメラ画像を図 9(b)に示すように 12の領域

に分割し，各領域内で抽出される特徴点は，特徴量の大きいものから順に上位 20個までと

する．

4.3.2 遠 近 分 離

抽出された特徴点を遠方のもの，近傍のものに分類する．分類のための指標とするのは，

ステレオ視差である．右カメラ画像上の特徴点とマッチする左カメラ画像上の点を正規化相

互相関演算により見つけ，相関値が一定以上のもののうち，水平視差が閾値以下ならば遠方

特徴点，そうでなければ近傍特徴点とする．相関値が小さいものは対応付けの信頼度が低い

と考えられるため，破棄する．なお，正規化相互相関演算を行う際の探索領域は，図 10に

示すように，右カメラ画像上の特徴点座標を左辺中心とした，64×3ピクセルの領域とする．

マッチングウインドウは探索領域の各点を中心とし，サイズは 8×8ピクセルである．

4.3.3 回 転 推 定

まず，右カメラ画像上で得られた各遠方特徴点を，カメラの光学中心を中心とする単位半

球面へ投影する．画像中心を (cx, cy)，焦点距離 f をとすると，図 11のように，ある特徴

点の座標 (h, v)は次式によって単位半球面での座標値 (x, y, z)に変換できる．

Feature point

Right Camera ImageLeft Camera Image

64

3

xx

y y

図 10 ステレオマッチング点の探索領域

Ray

Image Plane

Pinhole

(cx, cy)

(h, v)

hv

(x, y, z)f

d

図 11 球面投影

5 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

x =hd, y =

vd, z =

fd

(2)

ここで，d =√

f 2 + h2 + v2 である．以上の操作を，右カメラ画像上の全ての遠方特徴点に対

して行い，それぞれの点の単位半球面上での座標値を得る．

つづいて，回転行列計算のために，遠方特徴点のランダムサンプリングを行う．各フレー

ム上で選ぶ 2点が，相異なる（図 9(b)の）領域に属するように選ぶ．これは，同一フレー

ム上の 2つの特徴点が近接するのを防ぐためである．ただし，画像上の全ての遠方特徴点

が 1領域に密集している場合は例外的に，サンプリングする 2点が同じ領域に属しても良

いものとする．サンプリングを終えた後，式 (1)により回転行列 Rk を算出する．

つぎに，求まった Rk に対して評価を与えるために，サポーターの計数を行う．サポーター

の計数では，非サポーター数を用いた計算の効率化を行っている．図 12にその概要を示す．

ここで， f ar( f Rs )はある時刻 sでの右カメラフレーム f R

s 上の全ての遠方特徴点の集合を表

すものとする．また，sup(P)は図 8に示したサポーター判定のアルゴリズムに基づき，あ

る特徴点 Pがサポーターであれば真，そうでなければ偽を返すものとする．提案する効率化手法では， f R

t−1 の各遠方特徴点に対し前述したサポーター判定の動作を行うたびに，サ

ポーター数とともに非サポーター数の集計を行う．この非サポーター数がループの途中で

閾値 nth を超えたら，そこでサポーターの計数作業を打ち切り，サポーター数として-1を返

す．このようにすることで，多くのサポーターを得る可能性の低い Rk を与えられた場合に，

f Rt−1 の全ての遠方特徴点のサポーター判定を行う必要がなくなるので，処理を効率化するこ

とができる．また，このときの打ち切り判定に使う nth の値は，フレームのはじめに適当な

値に初期化され，サポーターの計数を正しく終了するたびに，そのときの非サポーター数の

値に更新される．打ち切り判定の際，条件が徐々に厳しくなることで，計数を打ち切られる

Rk も徐々に増え，さらに処理を短縮できるようになる．ただし，このアルゴリズムを採用

することによる弊害も存在する．打ち切り判定の閾値 nth の初期値をあまりに小さく設定す

ると，そのフレームで有効な Rk を得られなくなる可能性がある．すなわち，時間軸方向に

粗な回転推定結果となってしまう．開発システムの実装では，計算の高速化よりも回転推定

結果を密にとることを重視し，nth の初期値を f Rt−1 の遠方特徴点数とした．

図 12 サポーターの計数

6 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

(a) (b)

図 13 POV-Ray 生成シーン

5. 実 験

5.1 シミュレーション実験

5.1.1 シミュレーション環境および評価方法

実装した回転推定法の精度および速度を評価するため，シミュレーション実験を行った．

実験に用いるシーンは，POV-Rayにより生成した．シーンの設定を図 13に示す．シーン中

には 2つの近傍物体があり，無限遠には雲のテクスチャが貼り付けられた天球がある．カメ

ラは，図 13(a)中の 1から 4の矢印の示す方向へ回転しながら並進運動する．図 13(b)は，

図 13(a)の原点位置にカメラがあるときの画像である．また，カメラに与えた回転運動の真

値を図 14(a)に示す．図 14(a)において，横軸はフレーム番号，縦軸は各フレームでのカメ

ラの角速度である．

回転推定結果の評価値は，以下のようにして算出する．一般に回転行列とは，式 (3)のよ

うな性質をもつ．

RRT = RR−1 = I (3)

ここで，次のような行列 Rer を考える．ただし，Rを回転推定により得られた回転行列，Rtr

をシミュレーション時に設定した回転行列の真値とする．

Rer = RRTtr (4)

この Rer は，回転推定の結果が真値に近ければ近いほど．式 (3)より，単位行列 Iに近づく．

(a) (b)

図 14 回転運動の真値と推定値

表 3 実験結果

非サポーターによる打ち切り Fer 計算時間 [ms]

あり 0.00023 57.84なし 0.00023 69.57

Rer がどの程度 Iに近いかの評価尺度 Fer として，式 (5)のフロベニウスノルムを導入する．

Fer =

√√√ 3,3∑i=1, j=1

(Rer i, j − Ii, j)2 (5)

以上より，各フレームで得られた回転行列 Rと真値 Rtr をもとに Fer を計算し，これらの平

均値を評価値とする．

5.1.2 実 験 結 果

表 3に，RANSACの繰り返し回数を 8000回とした場合の回転推定結果の Fer による評価

値と計算時間を示す．表 3より，非サポーターによる計算の打ち切りを行うことにより，精

度を落とすことなく計算時間を短縮することができた．図 14(b)に，推定結果の一例を示す．

また，回転推定の各ステップでの，平均処理時間を表 4に示す．表 4より，RANSACの繰

り返し回数が 8000回程度であれば、フレームレート 15fpsでの 1フレームにかけられる処

理時間が約 66msであることから，ビデオレートでの処理が充分可能であることが分かる．

5.2 実画像による実験

実シーンにて，ステレオカメラを用いて撮影した画像を回転推定プログラムに入力とし

て与え，実験を行った．図 15に推定結果の一例を示す．図 15から分かるように，ピッチ，

7 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19

情報処理学会研究報告IPSJ SIG Technical Report

表 4 各ステップでの平均処理時間

平均処理時間 [ms]

特徴点抽出 4.19遠近分離+単位半球面投影 2.14回転推定 57.84合計 64.17

図 15 実画像による回転推定結果

ヨーについては，歩行パターンに含まれる周期性のある動きを推定できていることが分か

る．しかし，ロールについてはノイズの多い推定結果となってしまった．この傾向は，シ

ミュレーション画像による実験結果（図 14(b)）でも同様に現れた．今後このノイズの原因

を追求し，改善する必要がある．

6. お わ り に

本研究では，小学校低学年の児童らをターゲットとした，装着型監視システムを開発し

た．本システムは高性能な小型画像処理モジュールとステレオカメラによって構成され，ラ

ンドセルに取り付ける形で使用する．また，装着型監視システムに必要であると考えられる

本人認証のための，システムの回転運動推定機能を実装した．シーン中の遠方特徴点のみを

用いることで，効率的な回転運動推定を行うことができた．実際に開発システム上でシミュ

レーション画像を用いた回転運動推定を行い，ビデオレート内での推定が行えることを確認

した．実シーンの画像に対しても，ピッチ，ヨーについては周期性のある運動を推定できた．

今後の課題としては，まず，回転推定において，推定結果のうちロールにノイズが多く含

まれてしまう問題を解決する必要がある．また，得られた回転情報をもとにした実際の本人

認証のプロセスを実装することがあげられる．さらには，装着型監視システムとして必要と

される他の機能である，不審な接近物体や人物を感知する機能や，これらを感知したことを

装着者あるいはネットワークを介して保護者や学校の教職員に通知する機能を実装していき

たい．

参 考 文 献

1) 向川康博,西岡潔郁,八木康史: “複眼全方位センサを用いた装着型防犯アラームの開発”,画像の認識・理解シンポジウム論文集 (MIRU2006), pp.722-727, 7月, 2006．

2) 東はるか,向川康博,八木康史: “装着型全方位監視に向けた複眼全方位センサによる動物体検出”,画像の認識・理解シンポジウム論文集 (MIRU2007), pp.1111-1116, 7月, 2007.

3) T.N.Thanh, Y.Kojima, H.Nagahara, R.Sagawa, Y.Mukaigawa, M.Yachida, Y.Yagi: “Real-Time Estimation of Fast Egomotion with Feature Classification Using Compound Omnidi-rectional Vision Sensor”, IEICE Transactions on Information and Systems, Vol.E93-D, No.1,pp.152-166, Jan.2010.

4) J.Mantyjarvi, M.Lindholm, E.Vildjiounaite, S.M.Makela, H.J.Ailisto: “Identifying users ofportable devices from gait pattern with accelerometers,” in Proceedings of IEEE InternationalConference on Acoutics, Speech and Signal Processing (ICASSP ’05), vol.2, pp.973-976,March 2005.

8 c© 2011 Information Processing Society of Japan

Vol.2011-CVIM-177 No.92011/5/19