10
解説 NHK技研 R&D/No.149/2015.1 4 近年,コンピュータービジョン(Computer Vision)やコンピューターグラフィックス (CG:Computer Graphics)技術の活用により,テレビ番組などの映像制作において, 映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する。また,映像制作における課 題や,解決へのアプローチ,さらに実時間処理での映像解析技術による映像表現の応用 事例について解説する。 1.はじめに テレビ番組の映像制作には,演出を目的に多様な映像表現が盛り込まれている。とり わけドラマ番組では,収録後の加工・編集作業といった工程(ポストプロダクション, またはポスプロ)において,デジタル映像への視覚効果(ビジュアルエフェクツ (VFX:Visual Effects))の付加によって,リアリティーの高い映像表現が日常的に行わ れている。 VFXは,実際にはありえない情景の創作から,演出上不都合な被写体(例えば,時代 劇で,その時代にそぐわない人工建造物など)の除去といった目立たない部分に至るま で,幅広く用いられている。このようにさまざまなニーズを持つVFXであるが,この工 程は,制作時間やコストの制約がある番組制作の中で,クリエイターが煩雑な作業を積 み重ね,多大な労力をかけることにより実現されているものであり,それらの労働集約 的な側面が大きな課題となっている。 このような状況を背景に,近年,番組制作の工程管理や映像素材の管理の重要性が認 識されるようになってきている。例えば,撮影映像を素のデータ(RAWデータ)のま ま,撮影時に取得したレンズ情報などの映像に関するメタデータ(ある情報に関連する データ)とともに保存し,VFX作業の過程では,映像情報を一貫して線形かつ一定の色 空間で取り扱うシーンリニアワークフローなどの新しいワークフローが提案されてい 。これにより,加工処理による劣化が生じにくく,色調などをクリエイターの主観 に頼らず機械的に管理する制作環境が整いつつある。しかし,これはVFXにおける膨大 な作業の一部が効率化されたに過ぎず,クリエイターを真に創作活動に専念させるため には,各工程に内在する煩雑な作業を支援する技術が必要とされている。 本稿では,放送局での映像制作における課題について述べ,それらの課題を解決する 技術として,コンピュータービジョン *1 カメラで撮影した画像をコン ピューターにより解析し,被写 体となった対象世界や,その世 界とカメラとの関係を把握する 技術。 *1 などの映像解析技術によりVFXの作業を支援す る技術や,新たな応用例について解説する。 高度化する映像表現技術の 動向 三ッ峰秀樹

高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

解 説

NHK技研 R&D/No.149/2015.14

近年,コンピュータービジョン(Computer Vision)やコンピューターグラフィックス(CG:Computer Graphics)技術の活用により,テレビ番組などの映像制作において,映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対象に,映像解析を利用した映像表現技術の動向を紹介する。また,映像制作における課題や,解決へのアプローチ,さらに実時間処理での映像解析技術による映像表現の応用事例について解説する。

1.はじめにテレビ番組の映像制作には,演出を目的に多様な映像表現が盛り込まれている。とりわけドラマ番組では,収録後の加工・編集作業といった工程(ポストプロダクション,またはポスプロ)において,デジタル映像への視覚効果(ビジュアルエフェクツ(VFX:Visual Effects))の付加によって,リアリティーの高い映像表現が日常的に行われている。VFXは,実際にはありえない情景の創作から,演出上不都合な被写体(例えば,時代劇で,その時代にそぐわない人工建造物など)の除去といった目立たない部分に至るまで,幅広く用いられている。このようにさまざまなニーズを持つVFXであるが,この工程は,制作時間やコストの制約がある番組制作の中で,クリエイターが煩雑な作業を積み重ね,多大な労力をかけることにより実現されているものであり,それらの労働集約的な側面が大きな課題となっている。このような状況を背景に,近年,番組制作の工程管理や映像素材の管理の重要性が認識されるようになってきている。例えば,撮影映像を素のデータ(RAWデータ)のまま,撮影時に取得したレンズ情報などの映像に関するメタデータ(ある情報に関連するデータ)とともに保存し,VFX作業の過程では,映像情報を一貫して線形かつ一定の色空間で取り扱うシーンリニアワークフローなどの新しいワークフローが提案されている1)2)。これにより,加工処理による劣化が生じにくく,色調などをクリエイターの主観に頼らず機械的に管理する制作環境が整いつつある。しかし,これはVFXにおける膨大な作業の一部が効率化されたに過ぎず,クリエイターを真に創作活動に専念させるためには,各工程に内在する煩雑な作業を支援する技術が必要とされている。本稿では,放送局での映像制作における課題について述べ,それらの課題を解決する技術として,コンピュータービジョン

*1カメラで撮影した画像をコンピューターにより解析し,被写体となった対象世界や,その世界とカメラとの関係を把握する技術。

*1などの映像解析技術によりVFXの作業を支援する技術や,新たな応用例について解説する。

高度化する映像表現技術の動向三ッ峰秀樹■

Page 2: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.1 5

2.放送局における映像制作の課題放送局の番組制作は,主に調査,企画,素材収録,ポストプロダクション,送出などの工程で成り立っている。さらに,ドラマ番組の制作において,VFXなど高度な映像加工を伴う場合は,1表に示すような,より多くの工程が必要となる。1表の中で,素材管理は,単に素材映像を蓄積するだけではなく,素材の一覧提示や検索機能などの提供により,膨大な映像を効率良く取り扱えるようにすることを目的としている。現状では,時間情報などを除き,検索のためのラベルはユーザーが映像内容を確認して付与する必要があるが,対象映像が膨大な場合,詳細にラベルを付与することは現実的には不可能である。また,必要な映像を探し出せたとしても,その映像を加工するために必要な被写体領域情報などの情報は付与されていないため,その時点から加工に必要な情報の作成を開始することになる。このことが,作業期間の見積もりなどを困難にするとともに,制作時間の増大を招いている。プレビジュアライゼーション(プレビズ)は,完成映像を事前に想像するための映像をCGにより作成する作業工程3)である。例えば,撮影に必要なレンズを選定するため,あるいは完成映像のイメージを制作者や出演者で共有するために用いられる。プレビズのためのCG制作は,通常は簡略的なものであるが,現状ではCG制作に必要な知識と作業が必要である。テレビ番組制作においては,撮影までの準備期間が極端に短いなどの理由から,プレビズは省略される場合もある。その場合は制作者が,出演者やスタッフに絵コンテなどを用いて完成映像のイメージを説明することとなるが,プレビズほど直感的な理解は得られない。被写体領域の抽出については,ロケ現場などでクロマキーを利用可能な環境を構築できない場合が多々あり,その場合は,手作業による被写体領域情報の作成(マット生成,あるいはキー生成などとも呼ばれる)が必要となる。この作業にはクリエイターの経験やスキルに加えて多大な労力がかかる。このことは,映画やCM制作などと比較して,より時間的制約の多いテレビ番組制作においては大きな問題と言える。

作業工程 目的・内容 代表的な手法

素材管理 素材のバージョン管理,検索など 映像データベースを利用した素材のバージョン管理,検索など(ラベルは手動付与)

プレビジュアライゼーション(プレビズ)

撮影前の簡易な映像化による完成映像のイメージ共有

CGオーサリングツール(CG被写体の形状や動きなどの情報を作成するソフトウエア)によるCG制作

ポストビジュアライゼーション(ポストビズ)

撮影直後の簡易な映像化による確認や完成映像のイメージ共有 簡易CGと実写映像の仮合成

被写体領域の抽出・合成

映像解析を利用した被写体領域の抽出・合成

クロマキー(例えば青いスクリーンなどを背景に用いて撮影し,色情報を利用して映像上の被写体と背景の各領域を分離する手法)

手作業による被写体領域の指定作業ロトスコープ(撮影映像から手作業で被写体の輪郭をトレースする手法)等によるマスク作成

カメラトラッキング(カメラの姿勢情報取得)

カメラの動きと一致した自然な映像合成(実写とCGの合成)

撮影映像の解析によるカメラの動き推定,カメラの姿勢計測が可能な三脚やクレーンの利用

CG制作 映像合成の素材映像

CGオーサリングツール,ペイントツールなどを利用したテクスチャー(表面模様)作成,モデリング(形状作成),レンダリング(描画)など

カラーコレクション 色調の演出的な調整,カメラ間,映像素材間の色調整合

特定色空間での線形または非線形のスケーリング(拡大,縮小処理)

1表 VFXにおける主な作業工程

Page 3: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.16

その他,カメラの動き情報を取得するカメラトラッキングやCG制作などの工程にも課題が存在する。これらはCGと実写を合成するために必要となる作業である。CGと実写の自然な合成には,2表に示すような実写の撮影空間とCG空間それぞれの環境情報の整合が必要である。これらの整合性を確保するためには,実写撮影時のカメラの動きや照明条件を取得し,それをCG作成時に反映させるなど,違和感を低減させる作業が必要である。しかし,それらの作業が撮影に制限を与えたり,作業内容によっては特殊な機器を用いて計測する必要があるなど,表現や運用上の制約となる場合がある。このように,各工程それぞれにおいて労働集約的な色が濃い現状の課題に対し,クリエイターを煩雑で多大な労力がかかる作業から解放し,創造的な作業に専念させる技術的なサポートが強く望まれている。

3.課題解決へのアプローチ前章では,放送局における映像制作の課題を挙げた。主な課題は,大量の素材映像の中から,いかに効率的に希望する内容の映像を検索できるか,そして,映像加工の各工程に有益な情報(加工用メタデータ)を,煩雑な作業なしで,いかに迅速に得られるか,という2点に整理できる。映像検索に関しては,本特集号の解説「映像検索を高度化する映像解析技術」をご覧いただきたい。本章では,映像加工における課題解決のアプローチとして,まず,映像制作におけるワークフローの効率化について述べる。次に,制作現場で特に大きな負担となっているカメラ姿勢情報,被写体領域情報,照明情報の取得作業を対象として,これらの課題を解決する要素技術の概要を紹介する。3.1 映像制作ワークフローの効率化一般的な映像制作ワークフローにおいては,作業開始時には,通常,撮影した映像のデータのみが存在するため,加工に必要となるメタデータは,加工作業の開始後にさまざまな映像解析ツールやオーサリングツールを用いて取得する。この工程の大半は,自動処理が困難な場合が多く,そのような場合は,人手による作業が必要となる。通常これらの作業は経験や多大な労力を要するため,時間的制約の厳しいテレビ番組制作の足かせとなっている。一方,放送局内ではコンテンツのファイルベース化,作業環境のネットワーク対応が進行し,一元管理やノンリニア編集だけにとどまらず,より高度なコンテンツの利活用が期待されている。このような課題や背景に対し,当所では,映像解析技術やセンサー技術を利用し,収録した映像を入れておくだけで,検索用メタデータに加えて加工用メタデータが自動付与される「素材バンク」を提案している。素材バンクの概念図を1図に示す。過去に撮りためた映像や,取材などで新規に取得した映像を蓄積するだけで,素材バンクが昼夜映像解析を行い,検索用のメタデータや映像加工用のメタデータが自動付与される。したがって,クリエイターは作業の段階で,素材バンクに対し必要な素材映像をキーワードなどで検索すると,所望の映像と合わせて,映像加工に必要なメタデータも同時に取得できる。

時間的整合 合成素材間の時刻やシャッタースピードなど

空間的整合 合成素材間の座標系,スケール,カメラパラメーター(レンズの状態,位置,向き)など

光学的整合 合成素材間の照明条件,相互反射など

2表 自然な合成映像の制作に必要な環境情報の整合

Page 4: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.1 7

映像情報

センサー情報映像情報映像情報

素材バンク

映像加工に必要な情報の提供

映像制作を支援

多様な映像検索手段の提供

加工用メタデータ

検索用メタデータ

映像解析によりメタデータを自動生成

また,撮影映像の情景内に解析の手掛かりとなる情報が不足している場合,カメラ姿勢情報や照明情報といった加工用のメタデータは取得が困難となる。そこで,素材バンクでは,撮影の妨げにならない範囲でセンサーを利用し,収録映像と合わせてセンサー情報を蓄積しておき,映像解析だけでは生成が困難なメタデータを,センサー情報と映像情報を併用することで,高精度に取得可能としている。現在,素材バンクの実用化を目指し,素材バンクを構成する各要素技術の高精度化や頑健化を進めている。3.2 カメラ姿勢情報取得技術カメラ姿勢情報は,実写とCGの自然な合成に必要となる情報である。例えば,時代劇のロケでカメラを移動させながら撮影した映像に,現存しない城をCGで描画し合成するといった場合,CG世界のカメラも実写のカメラと同じ動きをしなければ,不自然な映像となる。カメラ姿勢情報を取得するための従来手法としては,映像解析による推定手法と,撮

ひず

影時に物理センサーを利用して取得する手法がある。映像加工には,レンズ歪みの情報を含め高精度なカメラ姿勢情報が必要とされる。例えば,撮影映像に何らかのCGオブジェクトなどを合成する際に,カメラ姿勢情報の精度が不十分であると,撮影映像上の被写体に対し,CGオブジェクトが滑る,あるいは揺れるような見え方となり違和感を生じる。この点を考慮すると,カメラ筐体の姿勢を物理センサーで計測する手法と比較して,撮影映像を解析してカメラ姿勢を推定する手法の方が,フレームの隅々まで位置ずれなくCGオブジェクトと合成可能なため,映像合成との親和性が高いと言える。しかしながら,従来の映像解析による手法は,推定の安定性が撮影環境や映像内容に左右される欠点があり,場合によっては,人手で推定のサポートを行っているのが現状である。そこで当所では,カメラ姿勢情報取得技術の自動化・高精度化に向けて,映像解析による推定手法を頑健化した上で,推定が不安定となった際には物理センサーの情報を併用し,より頑健で高精度な推定を可能にする手法を開発4)した。この手法の推定原理はバンドルアジャストメント5)を基本としている。バンドルアジャストメントは,まず,撮影映像の各フレームで被写体のコーナー部分などの特徴点を抽出し,その特徴点をフレーム間で対応点として追跡する。これらの特徴点は2次元座標を持つため,2図に示すようにそれぞれの撮像面に配置( )できる。一方,各特徴点の3次元位置とカメラの姿

1図 素材バンクの概念図

Page 5: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.18

カメラ姿勢1

撮像面

カメラ姿勢2

カメラ姿勢3対応関係

特徴点2

特徴点3

撮像面上の特徴点

フレーム1

フレーム2

フレーム3

再投影

未知

既知

特徴点1

被写体被写体被写体

再投影誤差

勢は未知であるため,それらに適当な初期値を与えて,特徴点の3次元座標( )を撮像面に投影する。この投影した撮像面の点と,赤点で表される特徴点位置との誤差(再投影誤差)の総和が最小となるよう繰り返し処理による最適化を行うことによりカメラ姿勢を求める。レンズの歪みや焦点距離などの各係数についても,カメラの位置や向きと併せ,この最適化によって推定を行う。ここで,この最適化による推定の精度や頑健さを決定づけるのが,特徴点の各フレーム間での対応の正しさである。本手法では,位相幾何学的にフレーム内における特徴点間の位相は別のフレームにおいても保存されるという拘束条件を与えることで,誤対応を検出・抑制し,頑健化と高精度化を図っている。誤対応の検出結果を3図に示す。3図(b)のピンク色の三角形は,その頂点のいずれかが,誤対応の発生した特徴点である

2図 カメラ姿勢推定の基本原理の概要

(a)撮影映像

(b)誤対応点を含む三角パッチ(ピンク領域)

3図 位相幾何学的な整合性を利用した特徴点の誤対応検出結果

Page 6: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.1 9

・・・

・・・

・・・

素材映像

領域分割情報

抽出被写体領域指定

抽出結果

素材バンク

時空間領域分割処理

被写体領域抽出処理

蓄積

操作

ことを示している。一方,映像解析によるカメラ姿勢推定手法には,フレーム内で特徴点が偏在した場合に,推定の破綻や,推定結果にジッターが生じるなどの傾向がある。そこで,本手法ではこの偏在傾向や再投影誤差量を利用し,推定の状態を評価している。推定の状態が不良な場合は,半導体製造技術であるMEMS(Micro Electro Mechanical Systems)技術により製作した小型ジャイロスコープと床面に向いたセンサーカメラを併用したカメラ姿勢計測用センサーであるハイブリッドセンサー13)を撮影用のカメラに取り付けて,得られるカメラ姿勢情報を併用して再推定を行うことで,映像制作で求められる精度を確保しつつ自動化を実現している。3.3 領域分割・抽出技術領域分割・抽出技術は,撮影映像上の特定の被写体領域を抽出し,例えば,別の背景映像に合成するなどの際に利用される技術である。静止画が対象であれば,従来手法として,抽出したい被写体領域とそれ以外の領域を大ざっぱに指示し,抽出したい被写体領域とそれ以外の領域の色分布をガウス混合モデル *2

複数のガウス分布を線形に重ね合わせて表されるモデル。

*3定義したエネルギー関数を最小化する最適化手法のひとつ。

*4抽出したい被写体領域と背景領域の色分布をガウス混合モデルとし,グラフカットによる最適化を用いて各領域を分離する手法。

*2に従って学習した上で,グラフカット6)*3により最適化を行うグラブカット7)*4が挙げられる。しかし,番組制作は対象が動画であるため,より複雑な処理あるいは作業が必要となる。制作現場では,例えば,既製品のツールを用いて,まず,ある時刻のフレームに対し人手により特定の被写体の輪郭をなぞり初期値を与える。次にそのフレームに時間的に連続するフレームに対し,輪郭を自動追跡するといった作業を行う。実際には,被写体の形状・配置が刻々と変化する動画に対しては,現状の技術では輪郭の追跡誤りが生じるため,そのつど手作業で修正する必要がある。また,初期値の与え方で追跡結果や合成品質が変化するため,クリエイターの経験が要求される。このような現状の課題に対し,当所では動画を時空間のボクセル(2次元画像の縦横2軸と時間の1軸による3次元空間に画素値を配置した映像情報)として捉え,事前に色情報をよりどころに領域分割(平均値シフト法*5

*5空間内に分布する点群の密度が極大となる点を,繰り返し処理により発見するデータ解析手法。によるセグメンテーション)を行っ

4図 動画からの被写体領域分割・抽出手法の概要

Page 7: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.110

(a)照明条件 -1 (b)照明条件 - 2 (c)照明条件 - 3

実写

CG

ておき,この領域分割された情報に対し,クリエイターが大ざっぱな指示を与えるだけで特定の被写体領域を抽出できる手法8)を開発した。概要を4図に示す。この手法においては,領域分割の粒度が異なるように条件を変えて作成した複数の領域分割情報に対し,ボクセル空間における接続情報(時空間において画素が隣接しているか否かの情報)を利用することで,同一の被写体は接続され,異なる被写体は分離されるような処理を行っており,適度な領域数に分割することにより,高精度な抽出を可能にしている。この技術は,領域分割と被写体領域抽出の2つのフェーズから構成されるが,前段の領域分割処理は自動化が可能なため,事前に自動処理しておくことができる。抽出処理はグラブカットをベースとした高速な手法であるため,クリエイターがインタラクティブに所望の被写体に対し操作を行うことができる。3.4 照明情報取得技術番組制作において実写とCGを合成する場合,実写撮影空間の照明情報をCG描画に利用することで,違和感の低減が可能となる。実写撮影空間の照明情報を取得する一般的な手法としては,CGを合成する付近に球状の鏡を設置し,これをデジタルカメラなどにより撮影し,周囲の大域照明情報を高ダイナミックレンジで取得する手法9)がある。この手法の場合,変化する照明への対応が困難なほか,高ダイナミックレンジで情報を取得する必要があるため,通常のダイナミックレンジのカメラで露光量を変更しながら複数回撮影するか,高ダイナミックレンジで撮影できる特殊なカメラが必要となる,などの課題がある。当所では,照明を直接計測するのではなく,スタジオ内に天井へ向けて設置した小型広角センサーカメラの映像を用いて,スタジオセットなどに対する照明の影響を解析することにより,間接的にスタジオ照明を構成する各照明の色調や強度をリアルタイムに推定可能な手法10)を開発した。この手法は,照明の線形性を利用したものであり,事前にスタジオ内の基本的な照明情報(照明の位置や各照明による基底画像*6

線形和により任意の照明効果を表現可能とする画像。

*6など)を取得する必要があるが,直接照明の明るさを計測しないことから,通常のダイナミックレンジの簡易なカメラで計測することができる。この手法により,実写とCGで照明条件の合致した自然な合成映像を簡易な機器で制作できる。5図に,実物の白色球体と照明装置を用いて撮影した実写映像と,推定した照明条件を利用してCGの白色球体を描画した結果との比較を示す。

5図 推定した照明条件を利用し描画したCGと実写との比較(被写体は白色球体)

Page 8: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.1 11

ジャイロスコープ

Ty

z

y

x

レーザー測距計

センサーカメラの映像解析

TzTx

放送用カメラ放送用カメラ

ハイブリッドセンサー

(床に対する平行移動量)

3次元座標系

(高さ)(回転量)

Rz

Ry

Rx

4.リアルタイム映像解析による映像表現の最新動向前章までは,VFXなどのポストプロダクションを対象とした映像解析技術を紹介した。映像解析技術には,センサー技術の併用やアルゴリズムの工夫により,1秒間に30フレームの映像をリアルタイムに処理可能な手法がある。この章では,リアルタイム映像解析技術を生かした映像表現への応用例について紹介する。4.1 バーチャルスタジオへの応用バーチャルスタジオは,カメラの動きに合わせてリアルタイムでCGを描画し,実写映像に合成する映像表現手法で,あたかも,CGの世界に出演者が入り込んでいるような映像を生放送で利用できるシステムである。例えば,実際にはいない場所に出演者を登場させたり,情報番組で分かりにくい情報を可視化して分かりやすく伝えるといった目的で,近年,放送局では頻繁に用いられている。このバーチャルスタジオの課題として,カメラ姿勢を計測するために,物理センサーを取り付けた専用の三脚やクレーン,ドリー(移動撮影用のカメラ用台車)を用いる必要があるため,ハンディカメラによる撮影ができない点が挙げられる。これまでに,撮影映像から映像特徴点とその3次元位置を学習し,これを用いてカメラの姿勢を推定する手法が提案11)されているが,テレビ番組制作で求められる精度を確保できていなかった。そこで当所では,事前にスタジオセットの形状や模様を学習し,撮影映像から被写体のエッジを拠り所に高精度かつリアルタイムにカメラ姿勢を推定する手法12)を提案した。しかしながら,推定における遅延量が多いという課題が残っていた。制作現場では,撮影映像に対する合成映像の遅延量は,リップシンク(口の動きの画像と音声との同期)などの観点から約3フレームが許容限と言われている。この課題に対し,素材バンクの要素技術として開発したハイブリッドセンサー13)を応用することで解決を図り,ハンディカメラによるバーチャルスタジオを実現した。ハイブリッドセンサーは,6図に示すように,放送用カメラに取り付けた小型のジャイロスコープによりカメラ姿勢情報のうち回転量を,レーザー測距計により鉛直方向の並進量を,センサーカメラの映像解析により水平方向の並進量を,それぞれ個別に計測する。水平方向の並進量は,床面に向けたセンサーカメラの映像から,床面の模様や僅

6図 カメラ姿勢情報を計測するハイブリッドセンサーの概要

Page 9: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.112

かな傷などを手がかりとしてリアルタイムに映像解析を行い取得している。このシステムは,映像解析部の計算量が少ないため,リアルタイムかつ低遅延でカメラ姿勢情報を計測し,CG合成を行うことができる。このことから生放送である「着信御礼!ケータイ大喜利」をはじめとするNHKの番組で利用され好評を博した。また,3.4節で述べた照明情報取得技術は,簡易な機器構成でリアルタイムに計測が可能な手法であり,これまでスタティックな照明環境で利用されてきたバーチャルスタジオに対し,ダイナミックに変化する照明による演出効果を付与することができる。4.2 視聴者端末への応用前節において実時間カメラ姿勢情報取得技術の映像制作における応用事例を紹介したが,ここでは,制作者側ではなく,視聴者側のサービスへの応用例を紹介する。2013年9月にハイブリッドキャストのサービスが始まり,テレビ視聴において,セカンドスクリーンの活用も加速しており,視聴スタイルとして定着していくものと考えられる。このような状況から,当所では,よりテレビとセカンドスクリーンを緊密に連携させたコンテンツ視聴方法の一形態として「Augmented TV」を提案14)している。このAugmented TVは,セカンドスクリーンとしての携帯端末に内蔵されたカメラで取得した映像を携帯端末上で解析し,テレビ側と携帯端末側のコンテンツの同期処理と,テレビの携帯端末に対する相対姿勢情報の取得を行っている。解析により得られた情報を利用することで,例えば,携帯端末を介し,あたかもテレビからキャラクターが飛び出してきたような拡張現実感を伴ったコンテンツ視聴が可能である。詳細は,本特集号の報告「テレビ映像を画面外に拡張するシステム『AugmentedTV』」を参照されたい。

5.おわりに本稿では,映像解析により高度化する映像表現技術と,番組制作における従来の課題を解決するための最新の研究動向について述べた。コンピュータービジョンをはじめとする映像解析技術は,今後も着実に進歩していくものと考えられる。一方,映像表現という創作活動において,すべてを自動化することは目的ではなく,これまで煩雑な作業とされていた部分をコンピューターがサポートし,制作者がクリエイティブな作業に専念できる環境を提供することが重要と考えている。この考え方に基づき当所で提案している素材バンクは,素材映像の利活用,自由度の高い映像表現,効率的なワークフローの実現を目的としたものであり,その要素技術の高精度化などを進めつつ,番組制作現場と連携して実用化を目指していく。また,映像表現や番組制作への応用にとどまらず,各映像解析技術を応用したサービスやアプリケーションの開拓を進めていく。

Page 10: 高度化する映像表現技術の 動向 - NHK映像表現の自由度が飛躍的に拡大している。本稿では,番組制作における映像加工を対 象に,映像解析を利用した映像表現技術の動向を紹介する

NHK技研 R&D/No.149/2015.1 13

参考文献1) ACES(Academy Color Encoding Specification)Science and Technology Council

Academy of Motion Picture Arts and Science:“The Academy Color Encoding System -Idealized System,”http://www.oscars.org/science-technology/council/projects/pdf/ACESOverview.pdf

2)“Open Source Color Management,”http://opencolorio.org/

3) 森,一刈,柴田,木村,田村:“実世界の撮影現場で3D映画演出を事前検討できるMR-PreVizシステムの開発,”日本VR学会論文誌,Vol.17,No.3,pp.231-240(2012)

4) 三ッ峰,武藤,藤井,加藤:“映像加工を考慮した頑健なカメラパラメータ取得法,”画電学年次大,R6-1(2013)

5) 岡谷:“バンドルアジャストメント,”情処学CVIM研資,No.37,pp.1-16(2009)

6) 石川:“グラフカット,”情処学CVIM研資,No.31,pp.193-204(2007)

7) C. Rother,A. Blake and V. Kolmogorov:““GrabCut”:Interactive Foreground ExtractionUsing Iterated Graph Cuts,”ACM Trans. Graphics,Vol.23,No.3,pp.309-314(2004)

8) 大久保,三ッ峰:“インタラクティブな被写体領域動画抽出のための時空間領域分割手法 ~「素材バンク」における映像解析処理と利用~,”ビジョン技術の実利用ワークショップViEW2013,OS1-O3(2013)

9) P. E. Debevec and J. Malik:“Recovering High Dynamic Range Radiance Maps fromPhotographs,”Proc. ACM SIGGRAPH 1997,pp.369-378(1997)

10)盛岡,大久保,三ッ峰:“映像合成のためのセンサカメラによるリアルタイム照明推定手法,”第13回情報科学技術フォーラム講演論文集,No.3,I-006,pp.169-170(2014)

11)G. Klein and D. Murray:“Parallel Tracking and Mapping for Small AR Workspaces,”Proc. IEEE/ACM ISMAR 2007,pp.225-234(2007)

12)H. Park,H. Mitsumine and M. Fujii:“Adaptive Edge Detection for Robust Model-BasedCamera Tracking,”IEEE Trans. Consum. Electron.,Vol.57,No.4,pp.1465-1470(2011)

13)加藤,武藤,三ッ峰,岡本,A. Moro,関,水上:“MEMSセンサと画像解析を用いた放送用カメラの姿勢と位置の計測手法の一検討,”日本ロボット学会誌,Vol.32,No.7,pp.2-11(2014)

14)川喜田,中川,佐藤:“Augmented TV:携帯端末内蔵カメラを用いてTVの映像を画面外へ拡張するシステム,”日本VR学会論文誌,Vol.19,No.3,pp. 319-328(2014)

み つ み ね ひ で き

三ッ峰秀樹1991年入局。名古屋放送局を経て,1993年から放送技術研究所において,被写体の映像部品化,映像合成,バーチャルスタジオの研究に従事。現在,放送技術研究所ハイブリッド放送システム研究部上級研究員。博士(工学)。