Embed Size (px)
Citation preview
人の検出と動作の認識技術身体向きの検出技術
九州工業大学大学院
工学研究院 機械知能工学研究系
石川聖二 中島佑樹
動体の検出技術
出願番号：特願2009-158120発明名称：背景画像推定に基づく物体検出方法
及び物体検出装置
発明者 ：石川聖二，タンジュークイ，三好誠，森江隆
研究背景と目的
・ 自動車は産業や社会に多大の利益・利便性を提供しているが，同
時に交通事故も多く，社会的問題である．交通事故を限りなくゼロに近づけることを目的として，特に近年，カメラとコンピュータを駆使した安全運転支援技術の研究開発が国内外で盛んに行われている．
・ 交通事故は，特に交差点で多い．交差点の状況の複雑さ，あるい
は交差点で信号停止しているときのドライバーの気の緩み等が，認知ミスによる事故を誘発する恐れは大きい．
• 車載カメラ（移動カメラ）から得られるビデオ映像から，移動物体（歩行者）を検出し，その挙動を認識する方法の開発．
• 安全運転支援（道路状況の認知支援）
従来技術とその問題点
• 背景推定．．．固定カメラWren, et al. (1997)Stauffer & Grimson (1999)
• 人物検出＿ステレオカメラ．．．特徴点の対応付け難しいZhao & Thorpe(2000)Leibe et al.(2005)
• 人物検出＿シングルカメラGavrila & Munder (2000,2007)歩行者の輪郭形状の階層型テンプレート．．．一般動作認識への対応困難
Viola & Jones(2005)顔検出器を用いた歩行者検出．．．方向によっては検出不可能
Zhang et al.(2006)FOEを用いた歩行者検出．．．直進のみ，Optical flowの精度に依存
提案法の特長
• シングルカメラ映像から背景を推定• 現画像フレームと背景との比較により前景を抽出• 背景モデルを逐次更新• カメラは低速で移動
交差点付近に特化
• 移動カメラからの映像に対する背景推定法• 対応点決定は不要／安価／設置容易• 物体の形状を直接抽出
従来は静止カメラ映像
シングルカメラ
動作・挙動認識への移行が容易
提案法の概要
カメラ運動推定 前景抽出
現フレームの背景モデル前フレームの背景モデル
現フレームの背景モデル更新
現フレーム
カメラ運動モデル
前フレーム
車載映像からの歩行者の検出例
人の動作の認識技術
出願番号：特開2009-176059発明名称：動体の動作認識方法
発明者 ：石川聖二，タンジュークイ
従来技術とその問題点
・人物の動作認識は数多く研究されているが，どれも
人の正面像あるいは側面像のみを対象とする手法で，
任意方向から観察して得られる画像を前提とする手法
は提案されていない．
提案法の特徴
• 任意の方向から人を観察し，その動作を認識する．• 動作を圧縮画像で表現したデータベースを構築することにより，高速検索が可能．
動作の表現法
動作画像の圧縮表現
荷物の持ち上げ
頭を抱えて屈みこみ
■
■
固有空間への登録
歩行者の動作認識例
走る 立ち止まる
拾う 倒れる
想定される用途
• 自車周囲の歩行者等の検出と動作認識による危険度判定システム
• 大型ショッピングセンターにおけるサポートロボット
実用化に向けた課題
• さまざまな時間帯，天候での実験が必要．• 歩行者等が多数の場合の，個々の歩行者等のセグメンテーション法の確立が必要．
身体向きの検出技術
出願番号：特願2010-119587発明名称：物体の検出装置及びその検出方法発明者 ：石川聖二，タンジュークイ，中島佑樹，森江隆
背景
交通死亡事故件数[24時間] 4914 (21年度年間)
歩行中の死亡事故者数 1717 (21年度年間)
人対車両の横断中
横断者(1202)横断歩道以外の場所(707)
歩行者違反別死者数あり：なし
4.4:1.5
脇見運転
安全不確認
信号無視横断歩道がない場所を横断
“平成21年中の交通死亡事故の特徴及び道路交通法違反取締り状況について”,警察庁交通局
背景(続)ITS (Intelligent Transport System)の運用
・アイサイト （レガシー，スバル）
・シティセーフティ （ボルボS60, ボルボ）
前方に障害物(人や物)があるかどうかを判断するシステム
急な飛び出しや横断には対応できない
歩行者が飛び出すかどうか予測する
★May cross姿勢情報から判断
身体方向の検出
目的身体方向の検出を実現し，より知的な
人対車両交通環境を理解できるITSを構築距離：10[m]場所：車道内状態：crossing
距離：30[m]場所：車道外状態:stay
距離：20[m]場所：車道付近状態：may cross
身体方向検出器構成
特 徴 量 選 択
MHOG(Multiple-HOG)
身体方向検出器 +
3bins
1bin
・・・
9bins
特 徴 量 選 択
AdaBoost
識 別 器 学 習
SVM
特 徴 量 正 規 化
L 2 -Normalization
2クラス識別器2クラス識別器2クラス識別器2クラス識別器2クラス識別器
2クラス識別器
正面，右，左の3方向を検出
各方向の画像データベースを用いて
2クラス識別器構築↓
1 vs. 1, 1 vs. rest法により上半身, 下半身, 全身計18個の2クラス識別器の
投票
身体方向検出器評価実験
評価手法: 5-hold cross-validation・学習用 400 (各方向)
SVM 100 (各方向), AdaBoost 300(各方向)
・評価用 100(各方向) ・解像度 30×60[pixel]・非線形SVM(ガウシアンカーネル)
Microsoft Visual C++ 2008editor2.00GB RAMmemoryIntel(R) Core(TM)2 Duo 3.00GHzCPUMicrosoft Windows XP ProfessionalOS
PC Performance
認識率90.1[%],処理時間 5.56[ms/person]
従来技術との比較検出率と処理時間
[1] [2] [3] 新技術Dalalらの手法 MHOG HOG 上・下・全身 AdaBoost SVM
[1] ○ ○
[2] ○ ○ ○
[3] ○ ○ ○
新技術 ○ ○ ○ ○
[1] N. Dalal, B. Triggs: “Histograms of oriented gradients for human detection”, Proc. IEEE Conf. on CVPR, 886-893, 2005.
• 従来，ヒストグラムのビン数が固定であるために，より有効な特徴量が選択されていなかったことによる検出性能の低下を，場所によってビン数の違うヒストグラム(MHOG)を用い，また上半身，下半身，全身の識別器を用いることによって改善した
• 新技術の検出率が90%を満たしたことにより，従来，歩行者が動かなければ判断できなかった横断や飛び出しを事前に予測するシステムなどへの応用が可能となった
新技術の利点
身体方向検出器応用例
1. 人探索領域設定
2. 識別器を用いた人，体方向検出
3. 距離と体方向を考慮した環境認識
1
2
3
IRTE (Intelligent Recognition of Traffic Environment)
デモンストレーション・関心度設定
・○内にカメラから人物までの奥行[m]表示
10[m]以内，もしくは体を道路側に向けている場合15[m]以内以上に該当しない場合
システムとして実用化するためには．．．• 人検出における位置精度
⇒身体方向検出器は位置ずれに弱い
（スケールよりも左右上下ずれ）
• 実時間処理⇒並列処理技術などの連携
・ 検出器の精度向上
⇒豊富な画像データベース
その他のシステム応用例・ヒューマノイドインタラクティブシステム ⇒関心の有無等の判定
・監視カメラシステム ⇒不審行動判定
・マン・マシンインタフェース ⇒非接触インタフェース
etc…
