1

物体の 3 次元モデリングと複合現実感のための仮想映像生成について

中部大学　情報工学科岩堀祐之 (Yuji Iwahori)iwahori@cs.chubu.ac.jp

2

目次 照度差ステレオ

照度差ステレオの発展 照度差ステレオのカラー化 基本原理

二色性反射モデル ( モノクロ )

NN ベース照度差ステレオ( モノクロ )

RBF-NN による学習 対象物体の表面法線ベクト

ルと反射係数の推定 NN ベースカラー照度差ス

テレオ 実験

仮想画像生成 NN ベースレンダリング

反射特性 NN の構築と学習 実験

3

NN ベース照度差ステレオ

～ NN を利用した形状復元～

4

モデルの獲得 ( モデル化 ) モデル

物体の形状、反射特性

文献 [1]( 佐藤ら 1994) 、文献 [2]( 佐藤ら 1997) パラメトリック反射特性関数 形状計測 ( レンジファインダー )

文献 [3]( 西山ら 1999) 、文献 [4]( 小俣ら 2000) 大量の画像

簡易で高性能な画像入力技術が望まれる

5

照度差ステレオの発展 照度差ステレオ ( 文献 [5] Woodham 1980)

視点固定、異なる光源条件下で撮影された複数枚濃淡画像から物体の局所的な表面法線ベクトルを推定

経験的照度差ステレオ ( 文献 [6] Woodham 1994) 反射特性を仮定しない、光源方向も指定しな

い Look Up Table(LUT) により濃淡値の組と表面法

線ベクトルの関係を推定

6

照度差ステレオの発展 ニューラルネットワーク (NN) ベース照度

差ステレオ　　 ( 文献 [7][8] 岩堀ら 1997, 1999)

LUT を NN により汎化 物体と同じ反射特性の球画像で NN を学習 反射特性を仮定せず、光源方向も指定せず 物体の局所的な表面法線ベクトルと反射係数

を推定 ただし、反射係数はモノクロのもの

7

照度差ステレオのカラー化 文献 [9]( 富田ら 1992)

特殊な色の光源を使う 文献 [10](Barsky et.al. 2001)

完全拡散 ( ランバート ) 反射を仮定

NN ベース照度差ステレオを拡張　　 ( 文献 [15] 岩堀ら 2004)

カラーの拡散反射係数を推定

8

基本原理：二色性反射モデル 拡散反射

照明光が物体表面から内部に入る 物質固有の反射率の変調を受ける 全ての方向に均等に反射光が射出 反射光の色が物体色

鏡面反射 物体表面において媒体間の屈折率の関係で反

射 表面法線に対して正反射方向に 反射光の色は光源色

9

二色性反射モデル ( モノクロ )

拡散成分と鏡面成分の線形和)1(ww mEEdE

E

Rd (n ,

l ) Rm (

n ,

l ,v ) (2)

R(n ,

l ,v ,)

拡散 鏡面

3 つのベクトルからなる関数

n : 表面法線ベクトル l : 光源方向ベクトルv : 視線方向ベクトル

→

→

→

E : 観測される濃淡値Ew : 光源の強度ρ : 反射係数 ( 反射率

)d, m : 混合比 ( n, l, v

の関数 )

→ → →

10

NN ベース照度差ステレオ ( モノクロ ) 　 ( 岩堀ら 1999) 方向未知の 4 つの光源のもとでの濃淡画像から n

と ρ を推定 式 (2) より、 l と v が固定なら画像の濃淡の原因は n

4 つの光源のもとでは

E R(n ,) (4)

),(

),(

),(

),(

4

3

2

1

4

3

2

1

n

n

n

n

R

R

R

R

E

E

E

E

→ → →

→

11

RBF-NN による学習 RBF-NN − 非線形ノンパラメトリック近似

が可能 表面法線と輝度値の組の関係を学習 物体と同じ反射特性を持つ球画像

を使用 球は様々な表面法線ベクトルを持

つ 半径と画像座標から導出可能

反射係数 ρは 1.0, 0.8, 0.6, 0.4 から1 つ選択し、画像濃淡値を ρ倍して学習用濃淡値の組を作成

球の様々な点から学習データを構築

ρ

12

対象物体の表面法線ベクトルと反射係数の推定 学習時と同じ 4 方向の光源で物体を撮影 同一画素の濃淡値 4 つを NN に入力 その画素の局所的な表面法線ベクトルと反射係

数が出力される 物体が映っている全ての全ての画素に対してこ

の処理を行う

ρ

13

NN ベースカラー照度差ステレオ 式 (1) をカラー化

l と v が固定なら画像の濃淡の原因は n

E d

E w m

E w (5)

E R(

n ,

) Rd (

n )

Rm (

n )

C L (6)

E = {ER,EG,EB} : 画像 RGB 値Ew = {EwR, EwG, EwB} : 光源の強度ρ = {ρR, ρG, ρB}: カラーの反射係数 ( 反射率 )→

→

→

CL : 光源色の RGB 値→

→ → →

14

問題点 学習データの増大

モノクロ (8bit) 画像→ 256階調 フルカラー (24bit) 画像→ 1670万色 様々な表面法線ベクトルとの組合せまで考え

るとデータの量や学習時間は非現実的

NN を 2段階で構成 カラーの拡散反射係数 表面法線ベクトル

15

カラーの反射係数推定用 NN 球画像での学習

様々な反射係数をもつ球を用意できない

球は白色 (ρ = {1,1,1})そこで、

学習データにはランダムな反射係数 ρ’ = { rand1, rand2, rand3 } を与える (着色 )

→

E Rd (

n )

Rm (

n )

C L (7)

→

ρR

ρG

ρB

16

反射成分分離と着色 球画像の反射成分分離

球と光源位置固定、別視点から撮影 鏡面反射の位置が移動 拡散反射は視点位置によらず一定 球なので画素の対応をとることが可能 暗い方の画素値が拡散反射成分

元画像 拡散成分 鏡面成分 着色

17

カラーの反射係数推定用 NN の学習と反射係数の推定 表面法線と輝度値の組の関係を

学習 物体と同じ反射特性を持つ球でラン

ダムに着色した画像を使用 球の様々な点から学習データを構築

物体のカラー反射係数を推定 学習時と同じ 4 方向の光源で物体を

撮影 同一画素の濃淡値 4 つを NN に入力 その画素の局所的な表面法線ベクト

ルと反射係数が出力

ρR

ρG

ρB

18

表面法線ベクトルを求める NN 球画像での学習

物体が実際に持つ反射係数の場合についてのみ輝度値の組と表面法線ベクトルの関係を学習すれば良い

そこで、 学習データには物体が持つ反射

係数からランダムに与える (着色 )

学習データの組を大幅に削減 学習時間もモノクロの手法と大

差ない規模に

19

表面法線ベクトル推定用 NN による汎化 物体の表面法線ベクトルを推定

学習時と同じ 4 方向の光源で物体を撮影

同一画素の濃淡値 4 つを NN に入力

その画素の局所的な表面法線ベクトルと反射係数が出力される

物体が映っている全ての全ての画素に対してこの処理を行う

20

実画像での実験 学習用の球は同種の白色塗料を表面に塗布して

反射特性を同一に 学習データ組数 : 1000, 学習回数 : 400回 (約 30

分 ), スプレッド定数 : 0.4

21

実画像での実験

誤差が現れるところ 股や皺の部分など ( 局所的凹状態 ) に二次反射以上の影響 鼻や頬による影 (キャストシャドウ )

入力画像の 1 枚 カラー反射係数 Slope Aspect

22

NN ベースレンダリング

～ NN を利用した仮想画像生成～

23

仮想画像生成 従来のモデルベースレンダリング

物体の幾何形状 物体表面の反射を数学的に定式化

Torrance-Sparrow モデル , Phongモデル 文献 [11] (池内ら　 1999年 )

レンジファインダーで形状計測 カラー画像からモデルパラメータを推定

パラメトリック反射特性関数では表現が困難な場合もある

24

NN ベースレンダリング 表面法線ベクトルとカラー反射係数から

物体の任意視点・任意光源方向での仮想画像生成

物体の見えの生成にも NN を利用 照度差ステレオで得られたカラー反射係数と

表面法線ベクトルを使用 パラメトリック反射特性関数を使用しない

25

入射、反射の関係 式 (2) より、ある面素の明るさは

光源方向 l 表面法線ベクトル v 視線ベクトル n のなす角で決定

i : 入射角

e : 反射角

g : 位相角

→

→

→

26

反射特性 R i, e, g は n, l, v の関数

反射特性 R は n, l, v およびρの関数↓

反射特性 R は i, e, g およびρの関数

i cos 1(n

l )

e cos 1(n

v )

g cos 1(v

l )

E R(i,e,g,

) Rd (i)

Rm (i,e,g)

→ → →

→ → → →

→

27

NN の構築 反射特性 R

拡散成分

Rm のみを NN で推定

E R(i,e,g,

) Rd (i)

Rm (i,e,g)

Rd n

l cos i

拡散 鏡面

28

NN の学習 i, e, g と鏡面反射成分の関係を学

習 物体と同じ反射特性を持つ白色球画

像を使用 反射成分を分離 拡散反射成分は学習しない

　→　物体色は鏡面反射成分に無関係

i, e, g が取り得る角度180 0

90 0

90 0

g

e

i

29

仮想画像の RGB 値推定 生成する画像の各画素の　　 l, n, v=(0, 0, 1) から i, e, g を計算 NN によって Rm を推定 　 Rm, Rd, ρ より

物体が映る全ての画素に対して処理を行う

E Rd (i)

Rm (i,e,g)

Rd n

l cos i

→ → →

→

30

異なる視点の仮想画像生成 視点を変更すると物体が回転し

た画像を生成する必要がある↓

表面法線ベクトルを積分して物体の高さ分布を作成

これを各座標軸中心に回転 回転前後の画素の対応を取る

表面法線ベクトルとカラー反射係数を補間

31

任意光源のもとでの仮想画像 l = (-0.55, 0.35, 0.75) 誤差の平均 0.0721 、分散 0.0656

実画像 仮想画像 誤差

→

32

光源方向の変わる映像

33

任意視点での仮想画像 l = (-0.40, 0.05, 0.92) 視線方向を様々に変化

→

34

視点の変わる映像

35

まとめ NN ベース照度差ステレオをカラー画像用

に拡張 対象物体のカラーの拡散反射係数と表面

法線ベクトルを推定 パラメトリックな反射特性関数を使用し

ない NN を 2段階に分けることで従来法と同程

度の学習で高精度に推定可能

36

まとめ NN による任意光源任意視点のもとでの仮

想画像生成 NN による非線形ノンパラメトリック近似

で高精度の鏡面反射 照度差ステレオから仮想画像生成まで NN

による汎化が有効に働く 複合現実感への簡易で高性能な 3 次元画

像入力装置の基本技術に

37

参考文献

[1] Y.Sato and K. Ikeuchi, “Temporal-color space analysis of reflection”, Journal of Optical Society of America, A, vol.11, no.11, pp.2990-3002, Nov. 1994

[2] Y.Sato, M.D. Wheeler and K. Ikeuchi, “Object Shape and Reflectance Modeling from Observation”, Proc. Of ACM SIGGRAPH 97, pp.379-387, Aug. 1997

[3] 西山 芳生 , 斉藤 英雄 , 小沢 慎治 , “ 多視点カラー画像からの 3 次元形状復元及び物体色の推定” , 信学論 , vol.J82-D-II, no.6, pp.990-1000, Jun. 1999

[4] 小俣 和子 , 斉藤 英雄 , 小沢 慎治 , “光源の相対的回転による物体形状と表面反射特性の推定” , 信学論 , vol.J83-D-II, no.3, pp.927-937, Mar. 2000

[5] R.J. Woodham, “Photometric method for determinating surface orientation from multiple images”, Opt. Engineering, pp.139-144, 1980

[6] R.J. Woodham, “Gradient and curvature from the photometric-stereo method, including local confidence estimation”, J, OptSoc.Am, pp.3050-3068, 1994

38

参考文献

[7] Y.Iwahori, R.J. Woodham, M.Ozaki, H.Tanaka and N. Ishii, “Neural network based photometric stereo with a nearby rotational moving light source”, IEICE Trans. Inf. & Syst., vol.E80-D, no.9, pp.948-957, 1997

[8] Y. iwahori, R.J. Woodham, Md.S. Bhuiyan and N. Ishii, “Neural network based photometric stereo for object with non-Uniform reflectance facator”, Proceeding of 6th ICONIP’99, vol.III, pp.1213-1218, 1999

[9] 富田 安 , 金子 俊一 , 本多 庸悟 , “カラー照度差ステレオによる 3 次元形状の復元” , 情処学コンピュータビジョン研報 , 080-016, pp.115-120, Nov. 1992

[10] S. Barsky and M. Petrou, “Colour photometric stereo: simulataneous reconstruction of local gradient and coulour of rough textured surfaces”, The Eighth IEEE Int. Conf. On Computer Vision, vol.II, pp.600-605, 2001

[11]池内 克史 , 佐藤 洋一 , 西野 恒 , 佐藤いまり , “複合現実感における光学的整合性の実現” , 日本バーチャルリアリティ学会論文誌「複合現実感」特集号 , vol.4, no.4, pp.623-630, Dec.1999

39

参考文献

[12] 富永 昌治 , 大橋 慎一郎 , “物体のカラー反射モデル” , 情処学論 , vol.33, no.1, pp.37-45, 1992

[13] S. Chen, C.F.N. Cowan and P.M. Grant, “Orthogonal least squares learning algorithm for radial basis function networks”, IEEE Trans. on Neural Network, vol..2, no.2, pp.302-309, 1991.

[14] 福井 真二 , 岩堀 祐之 , ロバート J. ウッダム , 岩田 彰 , ”ニューラルネットワークとイルミネーションプランニングを用いた濃淡画像からの曲面分類” , 信学論 , vol.J83-D-II, no.2, Feb. 2000

[15] Y. Iwahori, H. Kawanaka, R. J. Woodham, K. Funahashi, “Neural Network Based Modeling and Color Rendering for Mixed Reality”, Proceedings of the 17th ICPR2004 , Vol.3, Aug. 2004.

[16] Y. Iwahori, Y. Watanabe, R. J. Woodham and A. Iwata, “Self-Calibration and Neural Network Implementation of Photometric Stereo", Proceedings of the 16th ICPR2002 , Aug. 2002.

40

定量的評価実験

41

シミュレーション実験 シミュレーション環境

CPU AthlonXp2500+ 主メモリ 512MB Matlab を使用

入力画像 Torrance-Sparrow モデルを用いて作成

42

シミュレーション実験拡散反射係数の推定 学習データ組数 : 2000 学習回数 : 400回 (約 15 分 ) スプレッド定数 : 0.4 error = 0.0373

ERGB : 推定した反射係数の RGB

TRGB : 理論値のベクトルN : 対象物体の画像数

error

E RGB

T RGB

N

入力画像の 1 枚 推定したカラー反射係数

→

→

43

シミュレーション実験表面法線ベクトルの推定 性能比較

提案手法 手法 2(従来のモノクロ手法 )

二色性反射モデルを採用しないとどうなるか？ 手法 3(手法 2 をもとにモノクロ二色性反射に基づく方法 )

拡散反射係数と表面法線ベクトルとを同一の NN で推定するとどうなるか？

44

シミュレーション実験表面法線ベクトルの推定 手法 2 の反射モデル

鋭い鏡面反射領域で大きな誤差 提案手法では鏡面反射領域も精度高く推定

E Rd Rm

提案手法 手法 2

学習データ数 1012 1012

学習回数 400 400

学習時間 322 304

平均角度誤差 0.3887 9.6284

最大角度誤差 2.3097 124.0486提案手法 手法 2

45

シミュレーション実験表面法線ベクトルの推定 手法 3 では全体的な精度が提案手法に劣る 提案手法はカラー画像を用いるが学習時間の差はない NN を 2段階に分けるので学習効率が上昇

提案手法 手法 3

提案手法 手法 3

学習データ数 1012 1012

学習回数 400 400

学習時間 322 342

平均角度誤差 0.3887 1.5661

最大角度誤差 2.3097 9.8334

46

シミュレーション実験 精度評価

形状既知の球のレンダリングで精度比較 鏡面反射成分が実画像にどれだけ近いか

提案手法 学習データの組数 1000 学習回数 200回 (約 10 分 ) スプレッド定数 0.4

Torrance-Sparrow G=1, F=1.06, σ=0.02729

Phong n=289

Torrance-SparrowやPhongのパラメータは最小自乗法により推定

47

シミュレーション実験

提案手法 Torrance-Sparrow

Phong

誤差の平均 0.0545 0.0927 0.1024

分散 0.0751 0.1021 0.0577

実画像

提案手法Torrance-Sparrow Phong

48

高さ分布の妥当性 対象物体の様々な姿勢で N

N ベースカラー照度差ステレオを実施

それらの結果を積分 各高さ分布を相互に回転

させてその一致度を確認 高さが連続する部分では誤差が 3%以下