CV勉強会@関東 発表資料

CV最先端ガイド5 複数画像からの三次元復元手法

3.3章－4章

2015/03/28 takmin

自己紹介

テクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクト

皆川皆川皆川皆川 卓也（みながわ卓也（みながわ卓也（みながわ卓也（みながわ たくや）たくや）たくや）たくや）フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆ITラボ）ラボ）ラボ）ラボ）

「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催

博士（工学博士（工学博士（工学博士（工学））））

略歴：略歴：略歴：略歴：1999-2003年年年年

日本日本日本日本HP（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリ

セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事

2004-2009年年年年

コンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステム/アプリアプリアプリアプリ/サービス開発等にサービス開発等にサービス開発等にサービス開発等に従事従事従事従事

2007-2010年年年年

慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻

単位取得退学後、博士号取得（単位取得退学後、博士号取得（単位取得退学後、博士号取得（単位取得退学後、博士号取得（2014年）年）年）年）

2009年年年年-現在現在現在現在

フリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサル/研究研究研究研究/開発等に従事開発等に従事開発等に従事開発等に従事2

発表内容

3.3 デプスマップからのメッシュ復元

3.4 復元結果

4 むすび

3

3.3 デプスマップからのメッシュ復元

� 複数のデプスマップを融合してポリゴンメッシュを復元したい

4

メッシュ復元の流れ

1. 三次元空間をボクセルで離散化。

� ボクセルがノードでボクセル同士の接続をエッジとしたグラフ

Voxel Node Edge

5

メッシュ復元の流れ

2. それぞれのボクセルが物体の内部にあるのか外部にあるのかを推定する。

In

Out

6

メッシュ復元の流れ

3. InとOutの境界部分をMarching-cubesなどの手法でポリゴンメッシュとして復元する

7

Marching-cubes

� 隣り合う8つボクセルがどのようなIn/Outの組み合わせかによって割り当てるポリゴンを決めるアルゴリズム

8

In-Outの二値ラベリング手法

� エッジにデプスマップ情報を埋め込む手法

� ノードにデプスマップ情報を埋め込む手法

In

Out

9

In-Outの二値ラベリング手法

� エッジにデプスマップ情報を埋め込む手法

� ノードにデプスマップ情報を埋め込む手法

In

Out

10

エッジにデプスマップ情報を埋め込む

1. 各ボクセルにノードを隣接関係に双方向のエッジを持たせる

11

エッジにデプスマップ情報を埋め込む

2. 各デプスマップの表面と交差するグラフのエッジをマーク (InからOut)

12

エッジにデプスマップ情報を埋め込む

3. 各視点を統合し、多くの視点でマークされたエッジほど小さい容量を設定する。

容量小さい

13

エッジにデプスマップ情報を埋め込む

4. 「Source」と「Sink」ノードを加え、Sinkを一番外側のボクセルノードと結び、容量を無限大に、Sourceを全てのノードと結び容量を小さな定数に設定する。

14

エッジにデプスマップ情報を埋め込む

5. 最大フロー最小カット問題を解き、「Sink」側のノードを外部、「Source」側のノードを内部とラベリングする。

15

最大フロー最小カット問題

� グラフをSourceからSinkへ向かうエッジの切断コストの和が最小となるように分割する。

Source

Sink

1000

0.001

2

2

2

2

2

0.25

0.5

2

最最最最小カット小カット小カット小カット

= = = = 0.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.001

16

In-Outの二値ラベリング手法

� エッジにデプスマップ情報を埋め込む手法

� ノードにデプスマップ情報を埋め込む手法

In

Out

21

ノードにデプス情報を埋め込む

1. 各カメラから見てデプス表面より手前のボクセルをOut、表面と接した一つ奥のボクセルをIｎとマークする。

22

ノードにデプス情報を埋め込む

2. デプスマップを融合し、各ボクセルがOut/Inとマークされた回数を数える。（In > OutならばInの可能性高）

23

ノードにデプス情報を埋め込む

3. ノイズの影響を除去するため、隣り合うボクセルは同じラベルになりやすいような制約をつけて、Graph-cutsでラベルを判定

24

ノードにデプス情報を埋め込む

3. ノイズの影響を除去するため、隣り合うボクセルは同じラベルになりやすいような制約をつけて、Graph-cutsでラベルを判定

� � �

�

� � �

(��,��)∈��

エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題

全ボクセルにつけられたラベルの組み合わせで決まるエネルギー

隣り合うボクセルのラベルが同じなら0、違うなら1

付与したラベルの負のカウント数

25

3.4 復元結果

� 16枚の640x480画素の画像から復元した結果

photo-consistencyが低い（黒）

デプスマップ入力画像 メッシュ化して別の角度からレンダリング27

3.4 復元結果

� 16枚の640x480画素の画像から復元した結果

デプスマップ入力画像 メッシュ化して別の角度からレンダリング28

3.4 復元結果

� 312枚の640x480画素の画像から復元した結果

� 最大フロー/最小カットアルゴリズム使用

入力画像例

ポリゴンメッシュ

29

3.4 復元結果

� 3枚の3456x2304画素の画像から復元した結果

テクスチャがなく、復元が難しい30

3.4 復元結果

� 140枚の3456x2304画素の画像から復元した結果

入力画像例

ポリゴンメッシュ

31

3.4 復元結果

� 72枚の5M画素のデプスマップから復元した結果

� Graph-cutを使用

32

4. むすび

�近年の三次元フォトグラフィー技術の進化

� 10cm四方の物体を10枚ほどの画像から0.1mm以

下の精度

�三次元復元の流れ、利用可能なソフトウェア/

サービスの紹介

� MVSアルゴリズムの詳細の解説

33