Upload
yasutomo-kawanishi
View
3.016
Download
2
Embed Size (px)
DESCRIPTION
第20回名古屋CV・PRML勉強会で発表した内容です。 自分の研究に関連するところをざっくりと話しました。
Citation preview
背景モデリングに関する研究紹介など
第20回名古屋CV・PRML勉強会2012/10/20
川西康友 ( @yasutomo57jp )
1
12年10月21日日曜日
今日話す内容自分の研究に関して背景画像推定背景モデリング
宣伝:次週関西CVPRML勉強会ICIP2012の参加報告をします
212年10月21日日曜日
私の研究内容屋外の固定カメラ映像を対象背景画像推定背景差分人物検出・追跡・照合
312年10月21日日曜日
Foreground / Background画像処理では前景/背景のどちらかを対象この分離は様々な画像処理の前処理
4
背景シーン理解天候推定プライバシ配慮映像
前景人物追跡人物照合
12年10月21日日曜日
Foreground / Background画像処理では前景/背景のどちらかを対象この分離は様々な画像処理の前処理
4
背景シーン理解天候推定プライバシ配慮映像
前景人物追跡人物照合
12年10月21日日曜日
プライバシに配慮した映像の前に
センシングWeb世の中のセンサデータをWebに公開防犯カメラ映像人感センサ気象データetc.
プライバシの問題がある特に防犯カメラ映像
5
World wideSensor Network
Application Servers
12年10月21日日曜日
映像に対するプライバシ保護人物検出→モザイク人物検出が完璧でないと…
6
観測画像 モザイク
観測画像 モザイク12年10月21日日曜日
映像に対するプライバシ保護人物検出→モザイク人物検出が完璧でないと…
6
観測画像 モザイク
観測画像 モザイク
違う位置にモザイク
12年10月21日日曜日
映像に対するプライバシ保護人物検出→モザイク人物検出が完璧でないと…
6
観測画像 モザイク
観測画像 モザイク
違う位置にモザイク
人物が丸見え
12年10月21日日曜日
映像に対するプライバシ保護人物検出→モザイク人物検出が完璧でないと…
6
観測画像 モザイク
観測画像 モザイク
違う位置にモザイク
人物が丸見え
失敗
失敗
12年10月21日日曜日
変身カメラ
7
観測した映像
人物1(x,y): (150, 200 )Width: 30pxHeight: 100px
人物2(x,y): (120, 160 )Width: 30pxHeight: 100px
人物3(x,y): (200, 180 )Width: 30pxHeight: 100px
人物検出
背景画像推定
変身カメラの映像
シーンに適応する頑健な
長時間の観測画像解析に基づく
12年10月21日日曜日
人物検出位置がずれても
人物検出が全くできなくても
人物検出の失敗時
観測画像 モザイク 変身カメラ
観測画像 モザイク 変身カメラ
違う位置にモザイク
人物が丸見え
失敗
失敗
12年10月21日日曜日
人物検出位置がずれても
人物検出が全くできなくても
人物検出の失敗時
観測画像 モザイク 変身カメラ
観測画像 モザイク 変身カメラ
違う位置にモザイク
位置がずれるだけ
人物が丸見え
失敗
失敗
12年10月21日日曜日
人物検出位置がずれても
人物検出が全くできなくても
人物検出の失敗時
観測画像 モザイク 変身カメラ
観測画像 モザイク 変身カメラ
違う位置にモザイク
位置がずれるだけ
人物が丸見え何も表示されないだけ
失敗
失敗
12年10月21日日曜日
人物検出位置がずれても
人物検出が全くできなくても
人物検出の失敗時
観測画像 モザイク 変身カメラ
観測画像 モザイク 変身カメラ
違う位置にモザイク
位置がずれるだけ
人物が丸見え何も表示されないだけ
失敗 安心
失敗 安心
12年10月21日日曜日
人物検出位置がずれても
人物検出が全くできなくても
人物検出の失敗時
観測画像 モザイク 変身カメラ
観測画像 モザイク 変身カメラ
違う位置にモザイク
位置がずれるだけ
人物が丸見え何も表示されないだけ
人物検出結果が悪くてもプライバシ漏洩は起こりえない
失敗 安心
失敗 安心
12年10月21日日曜日
変身カメラ
9
観測した映像
人物1(x,y): (150, 200 )Width: 30pxHeight: 100px
人物2(x,y): (120, 160 )Width: 30pxHeight: 100px
人物3(x,y): (200, 180 )Width: 30pxHeight: 100px
人物検出
背景画像推定
変身カメラの映像
シーンに適応する頑健な
長時間の観測画像解析に基づく
12年10月21日日曜日
背景画像推定の目的元の観測画像 推定した背景画像
プライバシを侵害しない
違和感がない映像
12年10月21日日曜日
屋外固定カメラの映像映像中には何が存在?変化しないもの地面,床,壁変化するもの見えの変化o日照変化,木や旗の揺れ存在の変化o物体の侵入,消滅
1112年10月21日日曜日
屋外固定カメラの映像映像中には何が存在?変化しないもの地面,床,壁変化するもの見えの変化o日照変化,木や旗の揺れ存在の変化o物体の侵入,消滅
1112年10月21日日曜日
屋外固定カメラの映像映像中には何が存在?変化しないもの地面,床,壁変化するもの見えの変化o日照変化,木や旗の揺れ存在の変化o物体の侵入,消滅
11
背景
12年10月21日日曜日
屋外固定カメラの映像映像中には何が存在?変化しないもの地面,床,壁変化するもの見えの変化o日照変化,木や旗の揺れ存在の変化o物体の侵入,消滅
11
背景
前景
12年10月21日日曜日
背景画像の推定背景は変化している1枚の画像から推定するのは無理複数枚の画像から背景モデルを構築背景モデルを用いて背景画像推定
背景画像推定画像の全ての画素の(背景を観測した時の)値を決めること
1212年10月21日日曜日
ちなみに…背景差分法(前景領域の抽出)背景モデルと観測画像の比較背景ではない領域を抽出する全ての画素に対して背景らしさを決定する問題背景らしさに対して閾値処理→背景 or notを決定
13
背景モデル背景らしさに対する閾値処理
12年10月21日日曜日
背景差分と背景画像推定観測→背景モデル→背景画像背景差分
14
背景モデル
背景差分:結果的に画素ごとに2クラス分類ができればよい
背景画像推定:画素ごとに画素値を与えられればよい
12年10月21日日曜日
背景モデル背景とはこうだという定義を与えるもの背景差分に使える背景モデル背景画像推定に使える背景モデル
表現方法画素ごと/画像ごと確率分布/固有空間/時系列予測
1512年10月21日日曜日
様々な背景モデル化法画素ごとの統計モデル平均,最頻値正規分布,混合分布
画像の低次元近似に基づくモデルEigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデルKalman Filterによる輝度推定時系列のテクスチャ変化推定
1612年10月21日日曜日
画素ごとの統計モデル
統計量を推定する時間方向の平均値,最頻値確率分布の極大値を推定
弱点:急激な変化,空間的な変化に弱い(背景差分の場合)特徴量の工夫,識別の工夫画素値→LBP,ST-Patchなど 閾値処理→1class SVMなど特徴量,識別方法で様々な組み合わせ 17
time
現在の観測画像
統計量の推定
12年10月21日日曜日
画素ごとの統計モデル
統計量を推定する時間方向の平均値,最頻値確率分布の極大値を推定
弱点:急激な変化,空間的な変化に弱い(背景差分の場合)特徴量の工夫,識別の工夫画素値→LBP,ST-Patchなど 閾値処理→1class SVMなど特徴量,識別方法で様々な組み合わせ 17
time
現在の観測画像
統計量の推定
12年10月21日日曜日
様々な背景モデル化法画素ごとの統計モデル平均,最頻値正規分布,混合分布
画像の低次元近似に基づくモデルEigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデルKalman Filterによる輝度推定時系列のテクスチャ変化推定
1812年10月21日日曜日
低次元近似の背景モデリング画像1枚を1つのベクトルと考える非常に高次元(100万画素=300万次元)実際の変化パターンはそんなに高次元じゃない
画像をいくつかの基底の重み付き和で表現うまく基底を取れば,背景変化を再現可能
1912年10月21日日曜日
EigenBackground・・・
timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
timeN. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
time
背景固有空間PCA
N. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
time
背景固有空間
入力画像
PCA
N. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
time
背景固有空間
入力画像
PCA
N. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackground・・・
time
背景固有空間
入力画像
推定した背景画像
PCA
N. Oliver, B. Rosario, and A. Pentland, “A Bayesian Computer Vision System for Modeling Human Interactions,” IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.12年10月21日日曜日
EigenBackgroundの弱点学習時,前景領域などのノイズ(外れ値)に弱い外れ値に強い手法:Robust PCAなどを利用
空間的に徐々に変化する変化を再現できない学習データをうまく限定するLocal PCAなどを利用
局所的な変化を再現できない画像を分割して各領域ごとに処理Segmented PCAなどを利用
2112年10月21日日曜日
前景領域などのノイズへの対応できるだけ前景領域を無視してPCAしたい前景領域を除いた上で背景の誤差を最小化どこを前景領域として除けばよいか?
Robust PCA, GoDecなどのロバストな手法前景領域(ノイズ)は画像中でSparse画素数が少ない(L0ノルムが小さいという条件)組合せ最適化になるので簡単には解けないL1ノルムで近似して繰り返し計算
22
Tianyi Zhou, Dacheng Tao, “GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case,” ICML, 2011.12年10月21日日曜日
Subsampleによる高速化・頑健化例えば100万次元の画像を10次元で表現するとき100万次元すべてを使わなくても10次元の部分空間を推定できる画像からランダムに画素を選択し,その画素の情報だけを使って画像を低次元近似
復元Subsampling
基底 のうち,Subsamplingした画素に対応する列のみ( )を利用して画像を復元画素 を選択
L. Balzano, A.Szlam, J.He, “Incremental Gradient on the Grassmannian for Online Foreground and Background Separation in Subsampled Video”, CVPR 2012.
30%くらいの画素からでも十分背景を推定できる
12年10月21日日曜日
空間的に連続した変化への対応
影の移動などは数枚の画像の和では表現できない24
背景固有空間
推定した背景画像入力画像
12年10月21日日曜日
空間的に連続した変化への対応(Kawanishi2009)
日照の強弱だけの問題になる→再現が容易複数日で看板などの配置が異なるとうまく再現できない→(川西2011ではこの問題に対処) 25
異なる日の同じ時刻⇒ 影の出る位置は同じこの画像集合だけを使って背景固有空間を構築
・・・
日
時刻
12年10月21日日曜日
局所的な変化への対応画像全体を低次元で近似画像中の細かな変化は失われる
画像をブロックへ分割し,ブロックごとに処理Segmented PCA
2612年10月21日日曜日
Segmented EigenBackground
time
12年10月21日日曜日
Segmented EigenBackground
time
12年10月21日日曜日
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
12年10月21日日曜日
ブロックごとの背景画像推定
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
12年10月21日日曜日
ブロックごとの背景画像推定
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
12年10月21日日曜日
ブロックごとの背景画像推定
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
入力画像
12年10月21日日曜日
ブロックごとの背景画像推定
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
入力画像
12年10月21日日曜日
ブロックごとの背景画像推定
Segmented EigenBackground
time
各ブロックに対してPCA
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
Eigen Background
入力画像 推定した背景画像
12年10月21日日曜日
ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため
Segmented EigenBackgroundの問題点
12年10月21日日曜日
ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため
Segmented EigenBackgroundの問題点
12年10月21日日曜日
ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため
Segmented EigenBackgroundの問題点
12年10月21日日曜日
ブロックに分割することで局所的な変化をうまく再現可能前景領域の影響を大きく受ける前景領域がブロックの大部分を占めるため
Segmented EigenBackgroundの問題点
→川西2012で対処 (時系列の推定)
12年10月21日日曜日
様々な背景モデル化法画素ごとの統計モデル平均,最頻値正規分布,混合分布
画像の低次元近似に基づくモデルEigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデルKalman Filterによる輝度推定時系列のテクスチャ変化推定
2912年10月21日日曜日
時系列の変化を表すモデル
時系列に沿った画像が得られているこれを背景画像推定に使う
従来手法:画素ごとに日照変化に対処カルマンフィルタによって輝度変化を予測前景領域によるオクルージョンにロバスト変化の連続性を仮定
時刻
屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.12年10月21日日曜日
時系列の変化を表すモデル
時系列に沿った画像が得られているこれを背景画像推定に使う
従来手法:画素ごとに日照変化に対処カルマンフィルタによって輝度変化を予測前景領域によるオクルージョンにロバスト変化の連続性を仮定
時刻
屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.
→川西2012ではこの手法を拡張 (Segmented PCAと統合)
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
背景が変化背景のパラメータがどのように変化するのかを学習
12年10月21日日曜日
Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱いSegmentedEigenBackground時系列での推定を入れることで頑健に
31
EigenBackground
時間
?
背景が変化背景のパラメータがどのように変化するのかを学習
次にどう変化するのかを予測
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
実験結果入力画像 比較手法A:EigenBackground
比較手法B:Segmented EigenBackground 提案手法
12年10月21日日曜日
まとめ背景画像推定と背景差分背景差分:背景らしさを推定→閾値処理背景画像推定:画素値を推定
背景画像推定手法統計量の計算部分空間の利用時系列推定
3412年10月21日日曜日