次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -

!!!

SECURITY SHOW 2014 !

次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -

!!!

2014年3月4日 !

藤吉弘亘中部大学工学部情報工学科（ロボット理工学科）

!!1

距離情報を用いた物体認識

!2

ばら積み物体の認識人体姿勢推定

三次元環境認識障害物の検出

人検出

三次元顔認証

距離情報の表現

!3

レーザ走査型TOFセンサ

ポイントクラウド

P={p(X, Y, Z)}

三次元座標値(X,Y,Z)を持つ点pの集合!（2.5Dデータ:全周囲でないデータ）

同時照射型TOFセンサ

距離画像

D={d(u,v)}

画像座標(u,v)に対応する距離dの集合!（ポイントクラウドデータに変換可能）

X

YZ

u

v

1. ポイントクラウドを用いた物体認識 2. 距離画像を用いた物体認識 1. 機械学習を用いた人検出 2. 凸形状フィルタリングによる人流計測 3. 距離動画像による動作認識 4. 人体三次元姿勢推定

3. コンシューマデプスセンサと最新動向

!4

A Layered Approach to People Detection in 3D Range Data

!5

L. Spinello, K. O. Arras, R. Triebel and R. Siegwart”, “A Layered Approach to People Detection in 3D Range Data”, Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded AI Track (AAAI), 2010



!6

• 機械学習により人らしさを捉える二つの矩形領域を選択 ‒ AdaBoostを利用

機械学習を用いた人検出

!7

機械学習識別器

AdaBoost

AdaBoostのチュートリアル⇒http://www.vision.cs.chubu.ac.jp/CVTutorial/

http://www.vision.cs.chubu.ac.jp/CVTutorial/

• 距離ヒストグラム特徴量 [池村2010] 1. 二つの矩形領域を選択 2. 距離ヒストグラムの算出 3. 類似度の算出　


!8

Bhattacharyya距離による

ヒストグラムの類似度Sの算出正規化距離ヒストグラムp

入力距離画像正規化距離ヒストグラムq

∑=

=m

uuuqpS

1


!9

学習サンプル

弱識別器

特徴抽出

サンプルの更新

MAX

AdaBoost

),( 　　　　　　

・・・

評価 Z=0.9

),( 　　　　　　・・・

評価 Z=0.4

),( 　　　　　　

・・・

評価 Z=0.1

位置・サイズを変えて評価

),( 　　　　　　 )( 15301 Sh),( 　　　　　　評価 Z=0.3

認識率距離ヒストグラム特徴量


!10

学習サンプル

弱識別器

特徴抽出

サンプルの更新 AdaBoost

),( 　　　　　　

・・・

評価 Z=0.2

),( 　　　　　　・・・

評価 Z=0.3

),( 　　　　　　

・・・

評価 Z=0.8


),( 　　　　　　 )( 15301 Sh),( 　　　　　　評価 Z=0.7

認識率

MAX

)( 222 Sh ),( 　　　　　　

距離ヒストグラム特徴量


!11

学習サンプル

弱識別器

特徴抽出

サンプルの更新 AdaBoost

),( 　　　　　　

・・・

評価 Z=0.4

),( 　　　　　　・・・

評価 Z=0.1

),( 　　　　　　

・・・

評価 Z=0.6


),( 　　　　　　 )( 15301 Sh),( 　　　　　　評価 Z=0.7

認識率

)( 222 Sh ),( 　　　　　　MAX

)( 64000ShT ),( 　　　　　　

・・・・・・・・

距離ヒストグラム特徴量

• 検出の流れ 1. 三次元空間での検出ウィンドウのラスタスキャン 2. オクルージョン領域の判定 3. 距離ヒストグラム特徴量の算出 4.AdaBoostによる識別　

距離画像を用いた人検出

!12

図距離情報を用いた人検出の流れ

図次元実空間におけるラスタスキャン

スタスキャンするため，ウィンドウの世界座標が既知である．そこで，カメラから得られる距離情報と比較することで，カメラに対して検出ウィンドウより手前に存在する物体領域をオクルージョンとして判別し，識別に利用する．

オクルージョン領域の抽出

次元実空間におけるラスタスキャン時の検出ウィンドウの距離を用いて，オクルージョン判定の閾値を決定する．検出ウィンドウ内の各画素を，そのデプスマップをとすると，各座標におけるオクルージョンラベルは式で表される．

　　　

抽出されたオクルージョン領域黒色の領域を図に示す．

オクルージョン領域を考慮した識別

番目の弱識別器の対象とする矩形領域内に存在するオクルージョン領域の割合をオクルージョン率とし，式より求める．

図抽出したオクルージョン領域例黒色の領域

算出されたオクルージョン率を用いて，オクルージョン領域を考慮した最終識別器は式で表される．

図に示すように，オクルージョン領域を考慮せず最終識別器により識別を行うと，多くの弱識別器の出力がマイナスとなり，その結果人以外と誤識別される．一方は，オクルージョン率を考慮して，最終識別器の出力を求めるため，人と正しい識別が可能となる例である．

次元実空間におけるクラスタリング

従来の可視光カメラによる人検出では，人と識別された検出ウィンドウをクラスタリングにより統合し検出結果とする．しかし，画像空間におけるクラスタリングのみでは，図に示すように人の重なりのある場合に検出ウィンドウが誤って統合されることがある．そこで本手法では，図

に示すように次元実空間におけるクラスタリングを行う．これにより，人の重なりがある場合でも距離情報によりクラスタを分離することが可能であるため，検出ウィンドウの誤った統合を抑制することができる．次元クラスタリングは式により

を算出する．ここで，は移

第15回画像センシングシンポジウム，横浜，2009年6月

I S4-05-4

• オクルージョンを考慮した人検出


!13図オクルージョン領域を考慮した識別例

動している検出ウィンドウの中心座標，は各データの次元座標を表す．はカーネル関数，はバンド幅であり，本研究ではとした．

識別実験による提案手法の評価

提案手法の有効性を確認するため，評価実験を行う．データベース

データベースにはカメラで撮影したシーケンスを用いる．カメラは屋外での撮影が不可能であるため，屋内でカメラを約の高さに設置し，人の歩行シーンと複数の人が重なり合うシーンを対象とした．撮影した屋内のシーケンスから切り出した学習用ポジティブサンプル枚，学習用ネガティブサンプル枚を用いる．また，評価には学習用とは別に作成した評価用ポジティブサンプル枚，評価用ネガティブサンプル枚を用いる．カメラは屋内において最長までの撮影となるため，複数の人の全身を撮影することが困難である．そのため本実験では人の上半身（全身の上部）を検出対象とした．図に学習用，図に評価用のデータベースの一部を示す．

特徴量の評価実験評価用データベースを用いて，人の識別実験を行い，

提案手法距離ヒストグラム特徴量と従来法距離画

図学習用データベースの一部

像の特徴量の識別精度による比較を行う．実験結果の比較には，

カーブを用いる．カーブとは，横軸に誤検出率，縦軸に検出率を表したものである．識別器の閾値を変化させることによって，誤検出率に対する検出率の比較を行うことが可能である．グラフ左上に近いほど検出性能が良いことを表す．図に特徴量の評価実験結果を示す．距離ヒストグ

ラム特徴量矩形領域サイズの可変ありは，誤検出率において検出率であり，距離画像の特

徴量より識別率を向上した．これは，矩形領域サ


I S4-05-5


!14

反射強度画像距離画像

人検出精度：95%を達成（誤検出率0.5%)

　カメラ画像74% 距離画像95%20%UP


!15図人検出例

“”

，“

”

山内悠嗣藤吉弘亘，，金出武雄“アピアランスと時空間特徴の共起に基づく人検出”画像の認識・理解シンポジウム，

，．“

”

“

”

“”

．． “”

．，．

“”


I S4-05-8

⇒オクルージョンの影響を低減して検出が可能（距離画像と機械学習の効果）



!16

• 上部から撮影した距離画像からの人検出

凸形状フィルタリングによる人流計測

!17

TOFカメラ

人の向きにより見えが大きく変化

5.0m

0.0m

⇒局所特徴料と統計的学習手法では検出が困難

• 頭部と肩の距離差に注目 ‒ 肩，頭，肩の凸形状

!• Haar-likeフィルタリングによる利用 ‒ 肩と頭にHaar-likeフィルタを配置 ‒ 4方向のHaar-likeフィルタを利用 ‒ 積分画像の利用するこで高速に算出可能


!18

r1 : 黒の領域 r2 : 白の領域 S(r) : 領域の距離の平均を求める関数 H(r1, r2) : Haar-likeフィルタの応答値 0° 45° 90° 135°


!19

距離情報を用いた背景差分


!20

⇒凸形状の人のみを高精度(約97%)に検出可能

椅子


!21

判定ライン

距離画像入退出カウント距離画像解析結果入退出カウント

判定ライン

EnterExit

⇒正確な人の入退出カウントが可能

共連れ検知

!22

判定ライン

距離画像入退出カウント

判定ライン正常共連れ



!23

• 距離動画像による仮想視点を用いた動作判定

距離動画像からの動作認識

距離動画像

　1. 正規化シルエットの抽出　　　

　差分:

[特長] 設置角度に依らない／3D点群を効率的に要約

　入力: 　背景:　－

x

床

上

横前ポイントクラウド　人のシルエット

][ 21 N,...x,xx=x 2. 動作特徴量の抽出

}{ 21 M,...c,cc c

ttTt c,...,cc 1−−*c

3. 動作カテゴリ判別

4. 時系列フィルタ

• 距離動画像による仮想視点を用いた動作判定


!25

暴れ：Abnormal　　　　　正常：Normal

カメラ画像91.4% 距離画像97.4%6.0%UP

上横前

• 商品に注目する行動(商品注目行動)の認識 [池村2010C] !A. 商品を手に取る動作の認識 ‒ 手や体の動きを捉えることが有効⇒　時空間情報の利用

B. 商品棚の高さを認識 ‒ 手や体の高さを捉えることが有効⇒　距離情報の利用


!26

• 時空間情報の利用 ‒ 画素毎に状態を判定：動 / 静 / 背景

!!!• 距離情報の利用 ‒ 矩形領域の距離ヒストグラムからピークの距離を算出


!27

背景動状態静状態

商品を見ているとき商品を取っているとき

距離ヒストグラム

1.0 m

1.0 m

特徴量

• 距離動画像の時空間特徴により動作を識別 [池村2010C]


!28

商品を手に取る動作→　Upper：上段　Middle：中段　Lower：下段それ以外の動作　　→　Other



!29

• 画素毎にマルチクラス識別器によりパーツを分類 [Shotton2011] ‒ Random Forestを利用

距離画像を用いた3次元人体姿勢推定

Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, ”Real-Time Human Pose Recognition in Parts from Single Depth Images”, CVPR2011．

!30

学習サンプル

機械学習Random Forest

マルチクラス識別器

body joint hypotheses

front view side view top view

input depth image body parts

BPC Clustering

Background: Learning Body Parts for Kinect

[Shotton et al. CVPR 2011]

人体姿勢推定の流れ

距離画像を用いた3次元人体姿勢推定

!31

Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake, ”Real-Time Human Pose Recognition in Parts from Single Depth Images”, CVPR2011．

距離情報を用いた物体認識技術

• 距離画像を用いた物体認識のメリット ‒ 赤外光による距離画像取得のため、24時間対応が可能 ‒ 従来の物体認識フレームを利用して高性能な物体認識を実現

!• 距離画像を用いたアプリケーション ‒ 人数カウント ‒ 人流計測、共連れ検知 ‒ 動作認識（人体姿勢推定）

!32



!33

コンシューマデプスセンサ

• パターン照射方式 ‒ 赤外光パターンを照射し三角測量により距離を計測 !!!

• TOF方式 ‒ 赤外光の反射時間により距離を計測

Microsoft Kinect ASUS Xtion Pro

!34

mesa Swiss Ranger PMDTecPanasonic XBOX ONE(2013)Creative Interactive Gesture Camera

安価なTOFカメラ

KINECTカメラ（パターン照射方式）

• パターン照射方式 ‒ プロジェクションパターンを用いた三角測量による3次元計測

!35

Structured light

x

yz

baseline

imagingplane

optic centreof camera

optic centreof IR laser

object atdepth d1

object atdepth d2

KINECTの照射パターン

KINECT v2 カメラ（TOF方式）

• TOF(飛行時間)方式 ‒ LED光源を変調させ、CCD/CMOS イメージセンサは各画素ごとに反射してきた変調信号の位相を計測

‒ 各画素の距離は変調信号の周期の分数として定義

Principles of ToF Imaging

13

Continuous Wave Modulation• Continuous light waves instead of short light pulses• Modulation in terms of frequency of sinusoidal waves• Detected wave after reflection has shifted phase• Phase shift proportional to distance from reflecting surface

Emitter

Detector

continuous wave

3D Surface

...

...

20 MHz

... ...

Phase Meter

phase shift

!36

Kinectの性能比較

!37

!Kinect v1

!Kinect v2

RGBカメラ解像度 640×480(30fps) 1920×1080(30fps) 1280×960(12fps)

距離計測方式パターン照射方式 TOF(Time of Flight)方式

距離カメラ解像度 320×240(30fps) 512×424(30fps)

距離の有効範囲 0.8m～4.0m(通常モード) 0.4m～3.0m(Nearモード)

0.5m～4.5m

Kinectの距離画像比較

!38

Kinect v1 Kinect v2

320

240

424

512

オクルージョン領域は距離値を求めることが不可能

http://www.youtube.com/watch?v=eNIP9nFo9n4


XBOX one(Kinect v2)の紹介

!39



次世代のRGB-Dカメラ

!40http://techon.nikkeibp.co.jp/english/NEWS_EN/20120225/206010/?P=1

• RGBとDを同軸で取得（サムスンが2012年に発表）

RGB：1,920 x 720 D ： 480 x 360

http://techon.nikkeibp.co.jp/english/NEWS_EN/20120225/206010/?P=1

参考文献

[Munaro2012] M. Munaro, F. Basso, and E. Menegatti. Tracking People within Groups with RGB-D Data. In IROS 2012. ![Spinello2010] L. Spinello, K. O. Arras, R. Triebel and R. Siegwart”, “A Layered Approach to People Detection in 3D Range Data”, Proc. of The AAAI Conference on Artificial Intelligence: Physically Grounded AI Track (AAAI), 2010 ![池村2010A] 池村翔, 藤吉弘亘, "距離情報に基づく局所特徴量によるリアルタイム人検出", 電子情報通信学会論文誌, Vol.J93-D, No.3, pp. 355-364, 2010. ![池村2010B] 池村翔, 川合俊輔, 藤吉弘亘, "距離情報を用いたHaar-likeフィルタリングによる人検出", 第16回画像センシングシンポジウム(SSII2010), IS4-13, 2010. ![池村2010C] 池村翔, 藤吉弘亘, "時空間情報と距離情報を用いたJoint Boostingによる動作識別", 電気学会論文誌Ｃ（電子・情報・システム部門誌）Vol. 130 (2010) , No. 9 pp.1554-1560, 2010. ![Shotton2011] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake,”Real-Time Human Pose Recognition in Parts from Single Depth Images”,Computer Vision and Pattern Recognition,vol.2,pp.1297-1304, 2011.

!41

Technology

次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -