技研だより　第171号　2019/6NHK放送技術研究所　〒157-8510　東京都世田谷区砧 1-10-11　Tel： 03-3465-1111（NHK代表）

6月号2019No.171

技研公開2019で最新の研究成果を展示

　5月30日（木）から6月2日（日）の4日間、最新の研究成果を紹介する『技研公開2019』を開催しました。今年は「ワクからはみ出せ　未来のメディア」をテーマに、3DテレビやAR・VRを活用した、従来のテレビの“ワク”を越えた新しい視聴サービスを実現する技術など、技研が目指す未来のメディア技術に向けた研究成果を展示しました。また、2件の基調講演と技研研究員による新しいプレゼンテーションスタイルの研究発表“ラボトーク”、講堂8Kシアターでのコンテンツ上映や家族向けイベント等を実施しました。

コ ネ ク テ ッ ド メ デ ィア

スマートプロダクション 講 堂 8 K シ ア タ ー

エ ン ト ラ ン ス リアリティーイメージング

体 験 型 展 示

　技研が目指す未来のメディア技術として、3DテレビやAR・VRなどの研究成果をご紹介

　AI（人工知能）を活用した番組制作支援技術や、ユニバーサルサービス拡充に向けた技術をご紹介

　フルスペック8Kスーパーハイビジョンのライブ制作伝送実験や、デバイス・伝送技術などをご紹介

　ARを活用したテレビ視聴スタイルや白黒写真の自動カラー化技術などを来場者に体験していただきながらご紹介

　インターネットを活用してテレビとスマホやIoT機器が連携するサービス例などをご紹介

　フルスペック8Kによる超高精細映像と22.2chの3次元音響で、最新の8Kコンテンツを上映

オ ー プ ニ ン グ セ レ モ ニ ー よ り

基 調 講 演（ 5 月 3 0 日 ）基 調 講 演 1

　今年の技研公開は、新しい時代「令和」がスタートして、初めての開催になります。「平成」の30年間では、技研が研究開発を進めた、ハイビジョン、デジタル放送、ハイブリッドキャスト、そして4K・8Kスーパーハイビジョンといった新しい放送・サービスが実用化されました。これもひとえに皆様のご支援のたまものと、改めて感謝申し上げます。　今、NHKは、昨年、放送を開始した4K・8Kスーパーハイビジョンの本格的な普及に向けて、番組制作設備やコンテンツ制作技術の拡充などに取り組むとともに、来年開かれる東京オリンピック・パラリンピックで最高水準の放送・サービスを提供するため、インターネットの積極的な活用を含め、放送と通信の融合時代にふさわしい「“公共メディア”への進化」を目指しています。　この技研でも、昨年度から2020年度までの3年間を、新しい放送技術とサービスを創造するためのフェーズと位置づけて、NHK技研3か年計画を策定し、より臨場感や実物感の高いコンテンツをお届けするための技術である「リアリティーイメージング」、インターネットを活用してユーザー体験を向上させる技術である「コネクテッドメディア」、そしてAIにより効率的に番組を制作する技術である「スマートプロダクション」の3つを大きな柱として研究開発を進めています。　今年、第73回目となる技研公開は、「ワクからはみ出せ、未来のメディア」をテーマとしました。究極の2次元テレビと位置付けて研究開発を進めた8Kスーパーハイビジョンに続く、将来の新しい映像表現技術として、3DテレビやAR・VRの研究開発にフォーカスするとともに、公共放送から公共メディアへと進化していく中で、既成概念にとらわれず、最先端の技術を使って、新しい時代にふさわしいメディアを作っていこうという技研の思いも込めています。　展示会場では、AR・VRなどの新しい映像表現技術だけではなく、スマートフォンやIoT機器と連携して、より身近に番組コンテンツを楽しむことができる技術や、AIを活用した番組制作支援技術など、24項目の研究成果と4項目の体験型の展示をご覧いただくことができます。　技術革新が急速に進む中、今後とも関係機関のみなさまやNHK内の関連部局と幅広く連携し、放送技術の発展に尽力してまいります。引き続きご指導、ご支援を賜りますようお願い申しあげます。

　バーチャルリアリティー（VR）という言葉は平成元年に商用VRシステム『RB2』の発売と共に広まり大きなブームとなりました。そして平成から令和へと移る中で再びブームを迎えています。当初は限られた研究者・技術者により支えられ、VRをいかに生成するかという点が研究対象となっていました。現在は頭部搭載型ディスプレーを個人が購入できるほど機器が安価になり、研究も「VRの研究」でなく「VRで研究」に変わりつつあります。そんな中、講演者は空間のバーチャル化でなく、その補完関係にある身体のバーチャル化に着目し、研究を進めています。本講演では、VR・ロボット技術を用い身体能力を拡張する人間拡張工学とともに、身体の可塑性に着目した『自在化身体』プロジェクトの概要を紹介していただきました。歴史を振り返ると農業革命、産業革命などの社会革命は、必ず身体観の変化を伴ってきました。現在まさに渦中にあると言われている情報革命により、われわれの身体観はどのように変化するかを展望するとともに、これが放送の未来へ与える影響について論じていただきました。

NHK放送技術研究所長　三谷 公二

『身体の未来　拡張現実感から人間拡張工学へ』　

東京大学　先端科学技術研究センター　教授　稲見 昌彦 氏

挨 拶

2

基 調 講 演 2

　テレビを始めとした映像技術は、視覚特性に大きく依存しています。例えば、色の表現が基本的に3原色で十分であるのは、人間の視覚が3つの光受容体を基礎に色を見るからであり、静止画の連続提示が動画として見られるのは、それが実際の連続的運動と同じ効果があるからです。立体映像表現においても、2つの眼の網膜に実際の3次元物体を見たときと同じ像を映すことができれば、当然、観察者は実物と見分けられなくなります。このような事実は、情報伝送・表示技術が、本質的に人間の特性を考慮したものであり、このしくみを理解することと情報技術の進展がともにあることを意味しています。つまり将来の映像技術のさらなる発展には、人間の視覚あるいは感覚、知覚、認知のより深い理解が重要であるといえます。本講演では、映像技術における人間の視覚特性の関連についてまとめるとともに、行動や身体との関わりなども含め、最近の視覚や他の感覚の認知過程の研究から、従来の枠を超え空間表現を広げる手がかりについてお話しいただきました。

『空間表現を広げる視覚のしくみ』

東北大学　電気通信研究所　所長・教授　塩入 諭 氏

3

ト ー ク 1

ト ー ク 2

　将来の音声サービスでは、ナレーションの音量・種類やスポーツ番組での応援チームの選択など、視聴者の好みに合わせて音声をカスタマイズできることを目指しています。しかし現在の放送では、22.2chや5.1サラウンド、ステレオなどあらかじめ制作側がミックスしたチャンネルベースの音響システムを採用しているため、自由なカスタマイズには制限があります。そこで技研では、オブジェクトベース音響の研究に取り組んでいます。オブジェクトベース音響は再生にあたって番組制作時の音声フォーマットやレベルバランスの制約がないため、視聴者が自由にパラメータを変更して音声をカスタマイズするのに適しています。本トークでは、22.2ch音響システムを用いてオブジェクトベース音響の将来イメージをデモンストレーションするとともに、開発を進めているMPEG-H 3D Audioを用いた音声符号化装置について報告しました。

　近年、機械学習を用いた映像解析技術が進展し、撮影空間の状況把握や被写体の認識が実時間でできるようになりました。この技術を利用することで、例えばスポーツ映像の中から注目する選手やボールを追跡し、通常では視認困難な動きをCGで分かりやすく表現できます。これまでにさまざまなスポーツ競技の中継番組で、ボールなどの被写体の動きを可視化する技術を開発してきました。将来、この技術を発展させると被写体の3次元形状の把握や撮影空間の高度な状況理解が可能となり、通常の2次元映像に加えて3DテレビやAR・VRで視聴可能な映像コンテンツの制作が容易になります。本トークでは機械学習を用いた映像解析技術による人物の姿勢認識のデモンストレーションなどを通じて、将来の番組制作技術について考察しました。

音のカスタマイズ、してみませんか？　 オブジェクトベース音響による放送音声の高機能化

テレビ方式研究部　杉本 岳大

機械の目と脳が作るあらたな映像の世界　 映像解析技術と機械学習を利用した番組制作の高度化

空間表現メディア研究部　高橋 正樹

ラ ボ ト ー ク（ 5 月 3 1 日 ）

ト ー ク 3

　インターネットの普及により、人々は多様な情報に触れることができる一方、ユーザーそれぞれが利用するデバイスやサービスの制約から、“気づいて、触れる”ことができる情報の範囲に差異が生じている可能性があります。技研では、放送主体

もっと簡単・快適にコンテンツを楽しむために　 多様な視聴スタイルを実現するメディア統合技術

ネットサービス基盤研究部　遠藤 大礎

次ページへ続く

4

ト ー ク 4

ト ー ク 5

ト ー ク 6

　マラソンや駅伝などの中継では、中継車やバイクなどの移動局で撮影している映像を、ビルの屋上などに設置された基地局まで伝送するために、FPU（Field Pick-up Unit）と呼ばれる無線システムが用いられています。技研では、臨場感あふれる番組をご家庭にお届けするため、8Kスーパーハイビジョンの映像をFPUで伝送する双方向無線システムの研究を進めています。8K映像が途切れないように、回線の信頼性を保ちつつ伝送レートを大幅に拡大するため、これまで移動局から基地局への単方向であった伝送を双方向にする技術を開発しました。本トークでは、FPUに導入した双方向無線システムの仕組みについて解説し、カメラで撮影した映像を無線伝送するデモンストレーションを行いました。また、開発したFPUを用いて移動する車から8K映像を伝送する実験についても紹介しました。

のユーザーとインターネット主体のユーザーとの間で、触れられる情報の範囲の隔たりを少なくするために、利用デバイスや配信メディアを意識せず、簡単・快適にコンテンツを楽しめるメディア統合技術の研究を進めています。本トークでは、見たいコンテンツを選ぶだけで、放送やネット配信など多様な手段で提供される番組全編、ダイジェスト、あらすじテキストなどのコンテンツから自動的に適切なものを選択するイメージをデモンストレーションするとともに、それを身の回りにあるテレビやスマートフォン、各種IoT機器など、適切なデバイスで再生する仕組みについて紹介しました。

　技研では、スーパーハイビジョンの最上位フォーマットであるフルスペック8Kや、3次元空間にこれまでにないリアルな視聴体験をもたらす空間表現メディアなど、より臨場感の高い映像・音声を届けるリアリティーイメージングの研究を進めています。これらにおいて映像情報の入力を担うカメラの役割は重要であり、さまざまな撮像デバイスの研究開発に取り組んでいます。本トークでは、最先端の8Kカメラの仕組みを分かりやすく解説するとともに、高性能化に向けた信号処理回路技術や、積層構造を持つ次世代のイメージセンサーの開発例を中心に実物をご覧いただきながら紹介しました。また、トークの後半では、2030 ～ 2040年ごろの実現を想定して研究を進めている新しい放送・サービス「ダイバースビジョン」においてカメラに求められる機能や性能を俯瞰し、“究極のカメラ”への進化に向けた研究開発の方向性を考察しました。

　映像や音だけでなく振動や風などの触覚刺激も体感できる映画館やアトラクションが話題となっています。カメラとディスプレーの関係のように、触覚情報の取得・再生の技術が進展すれば、将来は、放送で触覚も加えた臨場感の高いメディア体験を提供できるようになります。技研では、スポーツの迫力や状況を触覚に提示する技術の研究開発を進めています。本トークでは、スポーツの感動を誰もが共有して楽しめるユニバーサルサービスの実現に向けた触覚インターフェース技術について解説しました。特にバレーボールなどを対象に、ボールの3次元の位置データから衝撃の方向と強さを推定して触覚情報として提示する技術や、触覚情報によって試合状況の把握しやすさや印象がどのように変わるかについて、デモンストレーションを交えて、聴講者にも参加いただきながら紹介しました。

マラソンを8Kで中継できるか?　 大容量の映像伝送を可能にする双方向無線システム

伝送システム研究部　伊藤 史人

“究極のカメラ”を考える　 次世代の放送・サービスを支える撮像技術

新機能デバイス研究部　後藤 正英 ／ テレビ方式研究部　安江 俊夫

触覚はメディアをどう変えるか？　 スポーツの迫力や状況をユニバーサルに伝える触覚インターフェース

スマートプロダクション研究部　半田 拓也

ラボトークのプレゼンターズインタビューの様子 モニター会場（再上映）の様子

5

技 研 公 開 2 0 1 9 　 展 示 一 覧エ ン ト ラ ン ス

リ ア リ テ ィ ー イ メ ー ジ ン グ

E3 ARを活用したテレビ視聴スタイル　AR（拡張現実）技術を活用し、あたかもテレビ画面から出演者が出てきたかのような表現と、離れた場所にいる家族や友人と一緒にテレビを視聴するスタイルを紹介しました。

E4 視点に追従するインテグラル3D映像　3D映像をより広い視域で視聴できるサービスを目指して、 視 聴者の視点に追従するインテグラル3D映像を画素密度の高い小型ディスプレーに表示するシステムを展示しました。

E1 2030~2040年ごろのメディア技術　さまざまな視聴スタイルに対応できる未来のメディア技術「ダイバースビジョン」を映像でご紹介しました。

1 インテグラル3DCG映像のリアルタイム生成技術　 携 帯 端 末に表 示したスポーツ選手の動きを表すCGキャラクターのインテグラル3D映像によって、自由な視点から選手の動きをリアルタイムに見る技術を紹介しました。

E2 高精細VR映像　高精細なVR映像の放送応用に向けて、家庭での視聴スタイルイメージをご紹介し、大型の円筒スクリーンに投影したVR映像をご体感いただきました。

2 3次元映像の奥行き表現技術　3次元映像の制作において、制作者の意図を的確に反映するために、3次元映像の奥行き情報を調整する技術を紹介しました。

（上）家庭でのVR視聴イメージ

（下）高精細VR映像

奥行き表現の調整

奥行き表現技術の紹介

6

3 将来の3次元映像表示デバイス　高品質な3次元映像表示の実現に向けて、奥行き範囲の広いインテグラル3D映像の表示を目指す光フェーズドアレーと、広い視域の動画ホログラフィー表示に向けたスピン空間光変調器を展示しました。

ホログラム固定パターンの表示スピン空間光変調器 光フェーズドアレーによる光制御実験

7 22.2マルチチャンネル音響の適応ダウンミックス　22.2マルチチャンネルの音響的な特徴を保持したまま、5.1サラウンドとステレオを自動で制作するためのダウンミックス装置を展示しました。

体験コーナーダウンミックス装置

6 フルスペック8K制作伝送実験　高フレームレート映像により被写体の動きを鮮明かつ滑らかに表現できるフルスペック8Kに対応した番組制作機器、符号化装置、広帯域衛星伝送装置、家庭用映像音声再生装置を用いたライブ制作伝送実験を展示しました。

技研

88インチシート型有機ELディスプレー

トランスオーラル再生システム

番組制作機器 符号化装置

中継先

左下へ

右上より

広帯域衛星伝送装置

送信設備（B-SAT車載局）

BSAT-4a衛星

7

10 フレキシブルディスプレーの要素技術　超薄型・軽量・大画面フレキシブルディスプレーの実現に向けて、その製造に適した要素技術として、塗布型TFTと量子ドットEL素子を展示しました。

12 スーパーハイビジョンワイヤレスカメラ　大容量の4K8K映像をワイヤレスで移動伝送でき、持ち運びが容易な小型・低消費電力の伝送装置とそれを利用したワイヤレスカメラを展示しました。

塗布型TFT4K・8Kカメラと小型送信機

量子ドットEL素子 ワイヤレスカメラ受信機

8 次世代撮像デバイス技術　8Kカメラの高感度化を目指した増倍膜積層型撮像デバイスと、小型で高精細な単板カメラを目指した有機膜積層型カラー撮像デバイスの要素技術を紹介しました。

9 超大容量ホログラムメモリー　超大容量・高転送速度を特徴とするホログラムメモリーの記録密度を高める多値記録技術と、ホログラムメモリーのデータを低ノイズで読み出し再生する技術を展示しました。

増倍膜積層型撮像デバイスの

要素技術

有機膜積層型撮像デバイスの要素技術

ホログラム記録装置によるデータ読み出しデモ

8

コ ネ ク テ ッ ド メ デ ィ ア

4 ネット×データ×IoTが連携するメディア技術　さまざまなWeb技術を応用することで、ネット、データ、IoT機器が連携し、今までにないメリットをもたらす放送メディアを実現するための技術や仕組みをサービスイメージとともに紹介しました。

13 地上放送高度化方式の大規模野外実験　地上波によるスーパーハイビジョン放送の実現に向け、実験試験局（東京タワー）から送信した電波を受信して、映像・音声を表示・再生するとともに、映像・音声符号化技術や検証実験の内容を紹介しました。

実験電波の受信・表示符号化前処理装置

14 次世代映像符号化方式VVC (Versatile Video Coding)　次世代の放送や映像サービスの実現を目指して、国際標準化が進められている次世代映像符号化方式VVCの動向 や、NHKの 提 案技 術を含むVVCの新技術を紹介しました。

15 オブジェクトベース音響による次世代音声サービス　視聴者の好みや視聴環境に合わせて番組音声をカスタマイズできるオブジェクトベース音響に向けた番組制作技術と高効率な音声符号化・復号技術を展示しました。

メディア処理基盤技術

データ基盤技術

コンテンツ提示基盤技術コンテンツ再生・配信基盤技術

オブジェクトベース音響に向けた機器

9

5 テレビ視聴ロボット　テレビを視聴するロボットが番組の映像や音声から番組のキーワードを認識し、関連した発話を行うことで、視聴者とロボットが会話しながらテレビを楽しむイメージを紹介しました。

16 生放送番組における自動字幕制作　地域放送局における字幕サービスの拡充を目指して、AIを活用した音声認識により、生放送の音声から自動的に字幕を制作する技術と、トライアルサービスの状況を紹介しました。

11 IP番組制作設備のクラウド化　IP技術を番組制作システムに活用することで、さまざまな解像度の映像や、カメラの台数に柔軟に対応できる映像スイッチャーなどをクラウド上にソフトウェアで構築する技術を紹介しました。

17 AIアナウンサー　気象情報番組を自然で滑らかな合成音声で読み上げるAIアナウンサーの技術と、ラジオ放送で実施したトライアルの結果を紹介しました。

ス マ ー ト プ ロ ダ ク シ ョ ン

18 ニュースを対象とした日英機械翻訳システム　NHKが保有する大規模な日英ニュース対訳データをニューラル機械翻訳システムで学習することにより、一文が長い日本語ニュースに対して高品質な日英翻訳を実現する技術を紹介しました。

10

20 スポーツ映像の状況理解技術　AIを搭載したロボットカメラがサッカー競技における選手やボールの位置などの状況を理解する技術と、状況に応じたカメラワークの自動生成技術を紹介しました。

19 スポーツの状況を体感できる触覚インターフェース　競技の状況を体感できる触覚インターフェースの実現に向けて、バレーボール競技を対象にして、サーブやレシーブのタイミングや、その時の衝撃を振動で提示するユーザーインターフェースを展示しました。

体 験 型 展 示

T1 ARを活用したテレビ視聴体験　ARを活 用して、従来のテレビの枠を超えた新たなコンテンツの世界を体感いただきました。

T2 8Kでどこまで見えるか、しらべてみよう!　8Kカメラを操作しながら、細かい部分まで良く見える8Kの特性を体感いただきました。

ロボットカメラ選手やボールの位置などの

状況理解

11

T3 8Kでスローモーションを体験してみよう!　4倍速（毎秒240枚）撮影が可能な8Kカメラとレコーダーを使用したスローモーションを体験いただきました。

T4 AIで白黒写真をカラー化してみよう!　AIを利用して、撮影した白黒写真を自動でカラー化する技術を体験いただきました。

放送博物館

21 放送が伝えた皇室　幾多の時代を皇室とともに歩んできた放送機器と、関わり深い品々、放送が伝えた皇室の映像などを紹介しました。

22 4K・8K受信方法の説明・相談コーナー　ご家庭で「NHK BS4K/8K」をご覧いただくため、対応する受信機および受信設備のポイントについてご説明しました。

（一財）NHKエンジニアリングシステム

N NHK技術の活用と実用化開発　NHKの研究開発成果である保有特許などの周知・斡旋と、放送技術の社会還元を目指して開発中の技術を展示しました。

放送通信連携アプリ制作技術

マルチモーション

8Kの応用展開（小型8K解像度カメラ）

気象情報手話CG特許・ノウハウの技術移転

技研だより　第171号　2019/6NHK放送技術研究所　〒157-8510　東京都世田谷区砧 1-10-11　Tel： 03-3465-1111（NHK代表）

6月号2019No.171

お 客 様 の 声

ス タ ン プ ラ リ ー

　6月1日～2日の2日間、スタンプラリーを実施しました。今年は会場内に設置された5か所のポイントを回ってスタンプを集めていただきました。

こ ど も ワ ー ク シ ョ ップ

　6月1日～2日の2日間、体験型のワークショップ「マジカルライド」を開催しました。色を塗った絵がモニター上で動くとともに、ペーパークラフトとしてもお楽しみいただきました。

毎年楽しみにしています。今年の

進化はすごかったです。

既存のテレビモニターという枠を

越えていこうという意気込みを感

じました。

ラボトークの演出・内容がとてもよ

かった。

解説してくださる職員さんがどなたもフ

レンドリーで話しやすかったです。

今回は端末を用いたAR、VRなどの体験

型展示が多く、どうしても見学待ち時間

が気になりました。

イ ベ ン ト

ガ イ ド ツ ア ー

　6月1日～ 2日の2日間、技研職員が同行して注目の展示を解説する「技研公開ガイドツアー」を実施しました。ツアーに参加された方からは、「ポイントや見どころがよく分かりました」、「質問にも丁寧に対応いただき、勉強になりました」などの感想をいただきました。

12

講 堂 8 K シ ア タ ー

　フレーム周波数120Hz（毎秒120コマ）に対応した8Kレーザープロジェクターによる超高精細映像と、22.2マルチチャンネルによる3次元音響で、最新の8Kコンテンツをお楽しみいただきました。

コンテンツ上映の様子