技研だより　第154号　2018/1NHK放送技術研究所　〒157-8510　東京都世田谷区砧 1-10-11　Tel： 03-3465-1111（NHK代表）

1月号2018No.154

新年を迎えて

　明けましておめでとうございます。

　いよいよ今年12月、NHKは衛星による4K・8Kスーパーハイビジョンの本放送を始めます。技研で産声を上げた超高精細映像システムの研究は、20年以上かけて新しい放送サービスへと成長し、皆さまのご家庭にお届けできるようになります。放送メディアをさらにその先へ進化させるため、技研は今年、新たな放送技術とサービスを創造する研究開発に、一層力を入れて取り組みます。

　インターネットや高速な無線通信の普及により、今後テレビはスマートフォンや多くのIoT機器とつながり、生活のさまざまな場面において、視聴者の役に立つメディアとして機能することが想定されます。テレビと連動してIoT機器が動作し、視聴番組をより楽しく、生活をより便利にするサービスや、いつでもどこでも放送・通信などの伝送路を意識せずに番組を視聴できる技術など、技研ではインターネットを活用してテレビの新しい可能性を追求する研究を進めます。

　近年、急速に進化を遂げたAI（人工知能）技術。技研ではAI技術を活用して、社会にあふれる多様な情報を迅速かつ正確に収集・解析して効率的に番組を制作するとともに、障害者や外国人など、さまざまな視聴者に必要な情報を確実にお届けする技術の研究を進めます。ビッグデータの解析技術を生かした情報抽出や、自動で解説音声を生成する音声ガイド、そして画像認識技術を活用した映像要約など、コンテンツ制作支援技術の研究とその番組応用を加速していきます。

　スーパーハイビジョンの普及や、さらなる発展に向けた研究開発にも取り組みます。8Kスローモーションシステムなどの番組制作機器や、シート型ディスプレーなどの家庭視聴機器をはじめ、スーパーハイビジョンの魅力を最大限発揮するフルスペック8K、そして次世代地上放送の実現を目指した技術の研究開発を進めます。さらに、特別なめがねが不要で自然な立体像を楽しむことができる立体テレビなど、将来の放送システムの基盤となる技術の研究にも取り組むほか、新たな視聴体験をもたらすAR（拡張現実）の放送応用の可能性も探究します。また、こうした技術の進化を支える次世代の材料やデバイスとして、超多画素や超高感度を目指したイメージセンサーや、高色純度・長寿命の有機ELなどの研究にも積極的に挑戦します。

　NHKは、公共放送から、放送と通信の融合時代にふさわしい“公共メディア”への進化を見据えて、改革と挑戦を続けています。放送文化の創造と発展に貢献し続けていくため、技研は一丸となって先導的な技術の研究開発に取り組んでまいります。今年も皆さまのご指導ご鞭

べんたつ撻をいただけますよう、よろしくお願い申し上げます。

NHK放送技術研究所長　黒田 徹

　10月28日〜 29日の2日間、NHKのスポーツの祭典「Nスポ！2017」がNHK放送センター（渋谷）で開催され、約19,000人の方にお越しいただきました。技研は、スポーツ中継での利用を目指して開発した「三次元被写体追跡スポーツグラフィックスシステム」を展示しました。　このシステムは、ボールの三次元位置を高精度に算出し、その軌跡を実写にリアルタイムでCG合成するシステムです。複数のカメラでボールを撮影し、その映像を解析することで、軌跡に加えてボールの速度も同時に表示することができます。すでに、スポーツ番組での試合分析などで活用され始めています。　展示では、来場者にバレーボールのスパイクを打ってもらい、その後に自分のスパイクしたシーンの合成映像を見てもらいました。来場者からは「軌跡が見えてわかりやすい」、「いろいろな競技に適用してほしい」などのご意見をいただきました。　今後も、技研の研究成果を多くの方へ紹介する取り組みを続けていきます。

Nスポ！ 2017で研究成果を展示

技研ジュニア科学教室を開催

　科学に親しんでもらう取り組みとして、放送技術の基礎を紹介するイベント「技研ジュニア科学教室〜君も研究員になろう！〜」を11月19日に開催し、小学3 〜 6年生の53名に参加していただきました。　まず、技研副所長の三谷校長のあいさつに続き、研究企画部長の今井先生が、「テレビの仕組み」について、“光と音”をテーマに実験を交えて授業を行いました。また、参加者がテレビの分解を体験する授業では、研究員の指導の下、ディスプレーとスピーカーの実験を通して、普段見ているテレビの構造を学びました。さらに、研究所内を見学し、8Kスーパーハイビジョンシアター、音響無響室、インテグラル立体など、最新の研究成果に触れていただきました。　参加者からは「実験や見学を通してテレビの仕組みが分かった」といった感想があるなど、放送技術を体験しながら、技研のジュニア研究員として楽しく学習していただきました。　今後も、子供向けに放送技術を知っていただくイベントを企画していきます。

授業「テレビの仕組み」の様子 実験の様子

展示の様子 再生された合成映像

特定方向の音をくっきりキャッチ！　指向性マイクの研究テレビ方式研究部　佐々木 陽

　複数の音源が存在する番組制作環境では、狙った音のみをクリアに収音することが求められる場合があります。技研では、特定方向の音声のみを収音できる指向性マイクロホンの開発を行っています。より鋭い指向性を持つマイクロホンを実現するためには、マイクロホンそのものの構造を改良する方法と、多数のマイクロホンを組み合わせる方法があります。今回、それぞれの長所を生かして開発した指向性マイクロホンについて紹介します。

■マイクロホンの構造改良による指向性収音　「ショットガンマイクロホン」（以下ガンマイク、図１）は、音波をキャッチする振動板の前面に、紙が貼られたスリット付きの音響管を取り付けたシンプルな構造で、指向性のある収音を実現します。電源を必要としないため、屋外の収音でも簡単に使うことができます。しかし開発にあたっては、試行錯誤しながら指向性を調整し、設計に必要なパラメーターを求めているのが現状です。そこで、ガンマイク内部での音波の挙動を物理的に計算し、設計パラメーターを自動的に最適化する手法を開発しました。

■多数のマイクロホンによる指向性収音　ガンマイクは、低い周波数の音に対して鋭い指向性を形成することが苦手です。そのような低い周波数の音に対して、多数のマイクロホンを組み合わせた「マイクロホンアレー」と呼ばれる技術を用いることで、特定方向から到来する音波を強調するとともに、それ以外の方向からの音波を打ち消すことができ、鋭い指向性を形成できます。このマイクロホンアレー技術とガンマイクを利用し、1か所の設置で広帯域に22.2ch音響を収音できるワンポイントマイクロホン（図２）を開発しました。

　開発したマイクロホンは、これまでに大相撲などのスポーツ中継の制作で活用されました。今後、さらなる性能の向上を目指して研究を進め、スーパーハイビジョンをはじめとした番組制作に活用していきます。

紙

音響管

振動板

筐体

図１：ショットガンマイクロホンの構造 図２：22.2ch音響ワンポイントマイクロホン

技研だより　第154号　2018/1NHK放送技術研究所　〒157-8510　東京都世田谷区砧 1-10-11　Tel： 03-3465-1111（NHK代表）

1月号2018No.154

新たな映像コンテンツ表現のための技術（全5回）

　「テレビの中のキャラクターが、画面から飛び出してきたら…」誰もが子供の頃そう思ったことがあるのではないでしょうか。“Augmented TV”は、そんな夢を実現する映像表現技術の一つです。ARの技術を使って、スマホやタブレット（以下、端末）のカメラを通してテレビを視聴することで、テレビ画面内のキャラクターがあたかも飛び出してくるように見えます。ここではAugmened TVを構成する２つの技術を紹介します。

■スムーズな“飛び出し”を実現する同期技術　飛び出してくる表現は、テレビ内の映像の進行に合わせて、端末のカメラ映像に対して３次元のCG（コンピューターグラフィックス）のアニメーションを重ね合わせることで実現しています。スムーズな“飛び出し”を実現するために、再生時刻を表すテレビ画面上の動くマーカーを端末のカメラで事前に撮影して画像処理することで、テレビ映像のフレーム単位で精度よくCGを重ね合わせる技術を開発しました。

■テレビ画面の位置や向きを推定する技術　CGを適切な位置に重ね合わせることも重要です。端末の向きの変化を計るジャイロセンサーと端末のカメラを用いて、テレビ画面が今どこにあるのかを推定する技術を開発しました。ジャイロセンサーで常に大まかなテレビ位置を推定し、カメラがテレビ画面の一部をとらえているときは、画像処理により高精度に位置を推定します。これにより、画面から飛び出してきたキャラクターを、視聴者が好きな視点から見ることができるようになりました。

　以上の技術により、あたかもテレビの映像世界が画面手前の現実空間とつながっているように見える演出が可能です。またAugmented TVは、テレビだけでなく、街中のデジタルサイネージなどでも利用できると考えられます。今後も、映像作品や漫画に出てくる楽しい表現を実現する研究開発に取り組んでいきます。

新しい撮影機器や表示デバイス、伝送技術などの急速な進展に伴い、放送における映像コンテンツの表現方法は大きな広がりを見せています。この連載では、多視点映像やAR（Augmented Reality：拡張現実）/VR（Virtual Reality：仮想現実）技術などに関連した「新たな映像コンテンツ表現のための技術」について紹介します。

第3回　AR技術による映像表現 “Augmented TV”

ネットサービス基盤研究部　川喜田 裕之

テレビから恐竜が飛び出す例

再生時刻を示す動くマーカー

ジャイロセンサー（内蔵）

ジャイロセンサーと画像処理によるテレビ画面の位置推定技術

画像処理による同期技術

Augmented TVを構成する技術