2017年度 修士論文

3 次元物体操作における VR と AR の効果

Effect of VR and AR for 3D Object Manipulation

指導教員 田中二郎 教授

早稲田大学大学院情報生産システム研究科

情報生産システム工学専攻

インタラクティブプログラミング研究

44161019-8 髙井 基己

I

概要

本研究では, 複雑な作業において仮想現実感と拡張現実感の作業支援の効果につい

て調べた. そのために, 本研究ではルービックキューブを完成へ導く仮想現実感と拡

張現実感のシステムを作成し, 参加者が完成させるまでの時間と, システムについて

のアンケートを取った.

仮想現実感のシステムでは, 参加者が装着するヘッドマウントディスプレイには

CG のルービックキューブと作業支援をする CG の色が表示されており, 机の上に置い

たハンドトラッキングができる LeapMotion に対して手をかざすことで, CG のルービ

ックキューブをジェスチャーで操作する.

拡張現実感のシステムでは, 参加者は LeapMotion を付けたヘッドマウントディス

プレイを装着し, 作業支援の CG を見て, 指摘された方向へ手でルービックキューブ

を回し完成させる.

本研究の結果では, 仮想現実感は拡張現実感よりルービックキューブを完成させる

時間は早く, 快適性も高いことを示した. これは, 仮想現実感のシステムでは, ルー

ビックキューブの層に触れて回すという簡単なシステムであったことと, 物理的なフ

ィードバックがないため, 手が疲れず操作ミスが少ないことが理由だと考えられる.

また, 仮想現実感と拡張現実感の技術の違いから, 作業支援としてのそれぞれの利

点が考えられる. 仮想現実感は, 物理的な影響がない環境を設計でき, 複雑な作業を

簡単な操作で行えることにより, 人間が作業を効率的に理解できる利点がある. 一方,

拡張現実感は, 人間が手に触れている物体の感覚を感じながら作業するので, 皮膚感

覚を使い操作に慣れる利点があると考えられる. よって, 本研究のようなルービック

キューブのみを使い, 手を複雑に動かす作業では, 皮膚感覚を使う操作より, 簡単に

操作が可能な仮想現実感のシステムの方が, 作業支援として効果が大きかったと考え

られる.

II

目次

概要 ......................................................................................................................................... I

第 1 章 はじめに ............................................................................................................ 1

1.1 背景............................................................................................................................................... 1

1.2 論文の構成................................................................................................................................ 2

第 2 章 研究の目的とアプローチ .................................................................................. 3 2.1 研究の目的................................................................................................................................ 3

2.2 アプローチ................................................................................................................................ 3

第 3 章 ルービックキューブを完成させるシステム ............................................... 4 3.1 システムデザインの決定.................................................................................................. 4

3.2 システムデザイン................................................................................................................. 8

3.2.1 仮想現実感のシステムデザイン ...................................................................... 8

3.2.2 拡張現実感のシステムデザイン ...................................................................... 9

3.3 システムの構成................................................................................................................... 10

3.4 システムの操作方法......................................................................................................... 11

3.4.1 仮想現実感システムの操作方法 ................................................................... 11

3.4.2 拡張現実感システムの操作方法 ................................................................... 12

第 4 章 システムの実装 ................................................................................................. 13 4.1 開発環境 ................................................................................................................................ 13

4.2 システム開発の流れ......................................................................................................... 13

4.2.1 CG のルービックキューブ ................................................................................ 13

4.2.2 CFOP 方式によるルービックキューブ ...................................................... 13

4.2.3 仮想現実感におけるルービックキューブの出力システム ........... 15

4.2.4 仮想現実感におけるルービックキューブの入力システム ........... 16

4.2.5 拡張現実感における作業支援の CG ........................................................... 17

4.2.6 拡張現実感におけるルービックキューブの出力システム ........... 18

4.2.7 拡張現実感におけるルービックキューブの入力システム ........... 20

第 5 章 関連研究 .............................................................................................................. 21 5.1 仮想現実感と拡張現実感の作業支援の関連研究............................................. 21

5.2 拡張現実感によりルービックキューブを完成させる関連研究............... 21

第 6 章 仮想現実感システムと拡張現実感システムの実験とその結果 ........... 23 6.1 実験環境 ................................................................................................................................ 23

6.1.1 仮想現実感の実験環境 ...................................................................................... 23

6.1.2 拡張現実感の実験環境 ...................................................................................... 25

6.2 実験方法 ................................................................................................................................ 26

6.3 実験結果 ................................................................................................................................ 27

6.4 結果の考察 ........................................................................................................................... 28

第 7 章 おわりに .............................................................................................................. 29 7.1 まとめ ..................................................................................................................................... 29

III

7.2 今後の展望 ........................................................................................................................... 30

付録 ...................................................................................................................................... 31

謝辞 ...................................................................................................................................... 32

参考文献 ............................................................................................................................. 33

1

第1章 はじめに

1.1 背景

仮想現実感は, CG によって作られた 3 次元の仮想空間を人間の五感を通じて現実の

ように知覚させる技術である. 仮想現実感は, 1965 年にアイバンサザーランドにより

提唱された概念[1]であり, 古くから研究が行われてきた[2]. 近年, 仮想空間内へ人間

の体がリアルタイムに CG として表示される様々なセンサーが販売された背景から, 3

次元空間内で人間が細かい作業を行う研究が行われている[3][4].

拡張現実感は, コンピュータを用いて現実の映像上に CG をリアルタイムに重畳表

示することで, 人間の目の前の世界を拡張する技術である . 拡張現実感は, アイバン

サザーランドが仮想現実感のために開発していたヘッドマウントディスプレイをシ

ースルー化し, 現実の映像と CG を合成する試みを行ったことが始まりである[5]. 拡

張現実感を実現するには, 高性能な計算機器や先進的なデバイスが必要だったため ,

研究分野が限定されていたが, 近年, 安価なヘッドマウントディスプレイが販売され,

拡張現実感を実現する様々な SDK が誕生した背景から, 多くの分野で研究が行われ

ている[6][7].

仮想現実感と拡張現実感の技術は似ているが, それぞれの利点は異なる. 仮想現実

感は, 人間によって作られた 3 次元空間内で作業できるため物理的な制限がなく, 時

間や空間を超えることができる. 一方, 拡張現実感は人間の目で見る映像を拡張する

ため, 人間の視覚内に存在する物体をリアルタイムで認識, 追跡し重畳表示できる.

これにより, 人間は現実の世界と相互作用がある状態で作業できる.

この似ている技術である仮想現実感と拡張現実感において, 人間の作業支援として

効果を調べる研究が行われており, 人間の作業効率を高めると報告されている[8][9].

その中で, 拡張現実感と仮想現実感においてどちらが人間の作業支援として優れてい

るのかという疑問がある. Max ら[10]は, 2 つの CG の立方体を 1 つに重ね合わせると

いう作業を仮想現実感と拡張現実感で比較するシステムを作成し, 拡張現実感の方が

2

作業支援として効果があることを明らかにしたが, それは簡単な作業支援の比較につ

いての結果であった. 今後は複雑な作業を比較することで, 多くの領域で仮想現実感

と拡張現実感のどちらが人間の作業支援として効果があるのかを調べることが必要

である.

1.2 論文の構成

本論文の構成は, 第 2 章では研究の目的とアプローチについて述べる. 第 3 章では,

ルービックキューブを完成させるシステムデザインと操作方法について述べる. 第 4

章では, システムの実装について述べる. 第 5 章では, 関連研究について述べる. 第 6

章では, 仮想現実感システムと拡張現実感システムの実験とその結果について述べる.

第 7 章では, 本研究のまとめと今後の展望について述べる.

3

第 2章 研究の目的とアプローチ

2.1 研究の目的

本研究の目的は, 複雑な作業において仮想現実感と拡張現実感が人間の作業支援に

与える効果を調べることである. そのために, 本研究には複雑な作業工程と現実の物

体を操作する作業工程を含む環境で仮想現実感と拡張現実感が人間へ与える効果を

調べる. 複雑な作業工程とは, 物体に触れる手の位置や向きが頻繁に変わる作業を意

味し, 現実の物体を操作する作業工程とは, 人間が物体の操作を手で行うことを意味

する. そのため, 本研究には人間が行う多くの作業が含まれるので, 広い作業領域に

おいて仮想現実感と拡張現実感の作業支援の効果を調べられる.

2.2 アプローチ

本研究では, 複雑な作業工程と現実の物体を操作する作業工程を含む条件としてル

ービックキューブの作業を行う. ルービックキューブの操作を選んだ理由は, 手で持

ちながら様々な方向へ回すという複雑な作業工程が含まれていることや, 精度の高い

センサーにより, CG のルービックキューブの操作が手でルービックキューブを操作す

る方法と近い環境で行なえるからである. そこで本研究では, ルービックキューブを

完成させる仮想現実感と拡張現実感のシステムを作成し, 比較する.

仮想現実感のシステムでは, 参加者が装着するヘッドマウンドディスプレイには

CG のルービックキューブと作業支援をする CG の色が表示されている. 参加者は, 机

の上に置いたハンドトラッキングができる LeapMotion に対して手をかざすことで、

CG のルービックキューブをジェスチャーで操作する.

拡張現実感のシステムでは, 参加者はヘッドマウントディスプレイを装着し, 作業

支援の CG を見て, 指摘された場所と方向を手でルービックキューブを回して完成さ

せる.

この仮想現実感と拡張現実感のシステムにおいて, 参加者が完成させるまでの時間

と, システムについてのアンケートから作業支援の評価をする.

4

第 3章 ルービックキューブを完成させるシステム

3.1システムデザインの決定

本システムでは, ルービックキューブを完成へ導くために出力システムと入力シス

テムを作成した. 出力システムとは, ルービックキューブの回す場所, 回す角度, 回

す方向の 3 種類を表示するシステムである. 入力システムとは, ルービックキューブ

を操作するシステムである. 本システムでは, ルービックキューブの回す方向を 3 方

向へ固定させることにより, 参加者の操作ミスを低くする設計を取り入れている. そ

のため, ルービックキューブの回す場所と回す角度の 2 つの表示が必要である. 一般

的にこのような作業支援する方法として 3 種類考えられる(図 1.1).

第 1 に文章によって表示する方法(図 1.1(a)).

第 2 に色で回す場所を表示する方法(図 1.1(b)).

第 3 に矢印によって回す角度を表示する方法である(図 1.1(c)).

本システムでは, 操作時間を短くするため, 色による作業支援を選択した. さらに,

色の線を細くすることで, 回しているルービックキューブの色が分かり, 完成まで

の手順を見えるようにした(図 1.2).

1段目を右へ90°回して下さい

図 1.1: 一般的な出力方法

5

ルービックキューブの角度は, CG の色によって変える. 白色は 90°, 灰色は 180°,

黒色は 270°と色が濃くなると回す角度を大きくなるように設計し, 参加者が理解し

やすいような表示方法にした(図 1.3).

90°回転 180°回転 270°回転

ルービックキューブを揃える手順は一般的に 2 種類ある.

1 つ目は, CF 方式というルービックキューブを角から揃える方法であり, 5 つの手順

により完成できる(図 1.4).

第 1 にルービックキューブを十字に揃える(図 1.4(a)).

第 2 に十字に揃えた面から近い 1 段を揃える(図 1.4(b)).

第 3 に下の段の角のルービックキューブを揃える(図 1.4(c)).

第 4 に下の段の間のルービックキューブを揃える(図 1.4(d)).

第 5 に残った中段のルービックキューブを揃えて完成させる(図 1.4(e)).

図 1.2: 本システムの出力方法

図 1.3: 色の出力方法

6

¥

2 つ目のルービックキューブを揃える手順として CFOP方式がある. これは, 段ごと

にルービックキューブを揃える方法であり, 4 つの手順により完成できる(図 1.5).

第 1 にルービックキューブを十字に揃える(図 1.5(a)).

第 2 に十字に揃えた面から近い 2 段を揃える(図 1.5(b)).

第 3 にルービックキューブを反転させて上を揃える(図 1.5(c)).

第 4 に残った 1 段を揃えてルービックキューブを完成させる(図 1.5(d)).

この方法は, 人間が理解しやすく, 手順を少なく完成させることができるので, 本

システムではルービックキューブを揃える手順として CFOP 方式を使った.

図 1.5: CFOP 方式

図 1.4: CF 方式

(a)

(d)

(c)

(b)

(e)

(a)

(b)

(c)

(d)

7

拡張現実感の入力システムでは, ルービックキューブを手で操作する一方, 仮想現

実感では CG のルービックキューブをジェスチャーで操作する. 一般的に, CG の物体

を操作する方法として筋電デバイスと LeapMotion がある.

筋電デバイスは, 筋電センサーで腕の筋肉の電気信号を検知し , 腕, 手首, 指の動

きで操作する. 一方, LeapMotion は 2 基の赤外線カメラと赤外線照射 LED で構成され

た機器であり, 赤外線 LED に照らせた手を赤外線カメラで撮影し, 画像解析により 3

次元空間内に CG の手が表示され操作する. 本研究では, 実際に手をカメラで感知し

て位置推定を行っている LeapMotion の方が精度が良いと思われるため, LeapMotion

を選択した. この機器を使い, 拡張現実感と近い操作環境にするために CG のルービ

ックキューブのそれぞれの面に触れると回るシステムにした(図 1.6).

また, 仮想現実感と拡張現実感で異なる入力方法を参加者が同じように操作できる

ように, 入力方法の自由度を下げる設計をした.

第 1 にルービックキューブを操作する時にはルービックキューブを 3 方向へのみ

回転させるようにすること.

第 2 にルービックキューブの操作は同一視点で行い続けることである.

これにより, 同じ作業環境において, 拡張現実感と仮想現実感の作業支援の比較が

可能になる.

図 1.6: 仮想現実感における入力方法

8

3.2 システムデザイン

3.2.1 仮想現実感のシステムデザイン

仮想現実感のシステムにおいて, 参加者はヘッドマウントディスプレイを装着して

椅子に座る. ヘッドマウントディスプレイには, CG のルービックキューブと作業支

援をする CG の色が表示されている. 参加者は, 机の上に置いた LeapMotion に対し

て手をかざすことで、CG のルービックキューブをジェスチャーで操作する(図 1.7).

図 1.7: 仮想現実感での作業環境

9

3.2.2 拡張現実感のシステムデザイン

拡張現実感のシステムにおいて, 参加者は, カメラと LeapMotion が付いているヘ

ッドマウントディスプレイを装着して椅子に座る. 両手では, ルービックキューブを

持ち, ヘッドマウントディスプレイのカメラへ向ける(図1.8). ヘッドマウントディス

プレイの映像の真ん中には, 作業支援をする CG の色が表示されているので, 参加者

はルービックキューブを CG に合わせ, 指摘された方向へルービックキューブを回す.

これにより, 仮想現実感と近い環境でルービックキューブを完成させることが可能と

なる.

図 1.8: 拡張現実感での作業環境

10

3.3 システムの構成

本システムの使用機器は, ヘッドマウントディスプレイとして OculusRift cv1 と Ovr

visionPro を用い(図 1.9), ハンドトラッキングシステムとして LeapMotion を用いた(図

1.10). OculusRift cv1 は据え置き型のヘッドマウントディスプレイであり , ASUS の

D11DF のデスクトップパソコンと繋げている. また, OvrvisionPro を使うことで、現実

の映像上に CG を重畳することで拡張現実感を実現できる.

拡張現実感で用いたルービックキューブの配色は, 世界配色基準のメガマウスルー

ビックキューブ ver2.0 である.

図 1.9 より, OculusRift cv1 には加速度センサー, ジャイロセンサー, 近接センサーが

入っているので, 頭の動きに合わせてディスプレイの映像が変わるヘッドトラッキン

グができる.

図 1.9: 左図: OculusRift cv1 右図: OvrvisionPro

図 1.10: LeapMotion

11

3.4 システムの操作方法

3.4.1 仮想現実感システムの操作方法

ルービックキューブの作業支援の色は, 白色, 灰色, 黒色の 3 色で表示する(図 2.1).

白色は 90°, 灰色は 180°, 黒色は 270°回すことを意味し, ルービックキューブが 90°

回転する度に, 表示される色か場所が変わる. また, 仮想現実感, 拡張現実感共にル

ービックキューブの真ん中の層は回しづらいため, 色は表示されない.

図 2.1: 仮想現実感システムの出力方法

本システムでは, 参加者の操作ミスを減らすため, ルービックキューブを 3 方向へ

のみ回るようにする(図 2.2).

図 2.2: ルービックキューブの回す方向

力方法

12

参加者は, CG のルービックキューブを同じ視点で操作を行い続け, LeapMotion でジ

ェスチャー操作を行う(図 2.3). 表示された色の場所の層の中心の立方体に触れると,

決められた方向へ 90°回転する.

3.4.2 拡張現実感システムの操作方法

ルービックキューブの作業支援の色の表示方法は, 仮想現実感と同じである(図

2.4). 作業支援の色が表示されたら, 参加者はその場所を決められた方向へ手で回す

(図 2.2). 操作過程では, ルービックキューブの持ち替えをせずに, 同じ視点で操作を

行い続ける.

図 2.4: 拡張現実感システムの出力方法

図 2.3: 仮想現実感システムの入力方法

力方法

13

第 4章 システムの実装

4.1 開発環境

本システムの開発は, windows10 環境で Unity2017.1.0f3 と VisualStudio2017 を用い、

プログラミング言語は C♯を用いた. 各装置の使用には, Unity 用 SDK を利用して実装

し た . Oculus Rift cv1 と OvrvisionPro は Oculus Utilities for Unity 1.20.0 と

ovrvisionpro_sdkunity5 を使用し, LeapMotion は LeapMotion SDK v2.3.1 を使用した. ま

た, CG のルービックキューブや色の開発には, 3 次元 CG ソフトウェアである Blender

v2.78 を使用した.

4.2 システム開発の流れ

4.2.1 CG のルービックキューブ

本システムの CG のルービックキューブは Blender で作成した. その理由として, 1

つの立方体に複数の色を付け, それが 27 個重なってできるルービックキューブでは,

3 次元ソフトウェアを使う必要があるからである. その中で, Blender はフリーソフト

ウェアであり, Unity との互換性が高いことから使用した.

4.2.2 CFOP 方式によるルービックキューブ

ルービックキューブを CFOP 方式で解くシステムは, 動画で手順を見て覚え, その

動きを Blender で CG のルービックキューブに反映し, アニメーションにより作成し

た(図 3.1).

14

図 3.1(a)-(d)まで, CG のルービックキューブを 107 回転させると完成する. また操作

は同一視点で行うため, 参加者から見て奥の層や下の層のルービックキューブを回す

操作は少なくする. これにより, 参加者が CG のルービックキューブを操作する快適

性を高めている.

本システムでは, ルービックキューブを解き始める最初の色配置として図 3.1(a)の

1 つ前の手順にする(図 3.2). 図 3.2 の色配置のルービックキューブの fbx ファイルを

Unity へインポートすることで, ルービックキューブを完成させる仮想現実感システ

ムを作成する.

図 3.1: ルービックキューブを CFOP 方式で解くアニメーションの過程

(a)

(b)

(c)

(d)

図 3.2: ルービックキューブの最初の色配置

15

4.2.3 仮想現実感におけるルービックキューブの出力システム

CG のルービックキューブの出力システムでは, ルービックキューブの周りに作業

支援をする CG を 6 ヵ所配置しておき, 表示する色の場所と色の種類を StepList に設

定する(図 3.3). StepList は 1 つの工程ごとに CG の処理を変更できる方法である. これ

により, ルービックキューブが 90°回転する度に, 白色, 灰色, 黒色のどれかの色が

次の回す場所に表示される.

図 3.3: 作業支援の CG の色と場所の設定の仕方

16

4.2.4 仮想現実感におけるルービックキューブの入力システム

仮想現実感における CG のルービックキューブの回る場所は, 真ん中の層以外の 6

ヶ所ある. 参加者が, それぞれの層の中心の立方体に触れた時に, ルービックキュー

ブが回る方向と回る角度を StepList に設定する(図 3.4). これにより, 参加者が, 作業

支援の CG が表示された層の中心の立方体に触れると 90°回転できる他, 間違えて別

の層に触れても回らないので操作ミスを防げる.

図 3.4: CG のルービックキューブの回し方の設定の仕方

17

4.2.5 拡張現実感における作業支援の CG

拡張現実感のシステムにおいて, ルービックキューブの回す場所に作業支援の色を

表示する CG は, Blender で作成した. 参加者は, 同一視点でルービックキューブの操

作を行うため, CG は 2 つの面のみ表示することで, ルービックキューブの作業を見や

すいようにする(図 3.5)。

図 3.5 : 作業支援の CG

18

4.2.6 拡張現実感におけるルービックキューブの出力システム

拡張現実感システムの作業支援の CG の表示する場所は, 仮想現実感と同じ 6 か所

であり, 図 3.5 の CG の StepList に色と場所が出る順番を設定する(図 3.6). これにより,

現実の映像上に作業支援をする CG のみが表示される.

また, 作業支援の CG を表示する場所は, 参加者が装着するヘッドマウントディス

プレイの映像の中心に重畳するように設定する(図 3.7).

図 3.6 : CG の色の配置と設定

19

参加者は, ルービックキューブを作業支援の CG に合わせることで作業を行う(図

3.8).

図 3.7 : 画面の中央に表示される作業支援の CG

図 3.8 : 作業支援の CG とルービックキューブ

20

4.2.7 拡張現実感におけるルービックキューブの入力システム

拡張現実感のシステムのルービックキューブの操作方法は , 参加者の手で行うが,

ルービックキューブを回した後の作業支援の CG の変更は, ヘッドマウントディスプ

レイに付いている LeapMotion が行う. 参加者は, LeapMotion 上で作業をすることで,

LeapMotion の CG の手が CG のボタンに触れることにより, 次の作業支援の CG が表

示される(図 3.9). また, CG の手と CG のボタンは透過させているため, 参加者には見

えない.

図 3.9 : LeapMotion の CG の手と CG のボタン

21

第 5章 関連研究

5.1 仮想現実感と拡張現実感の作業支援の関連研究

Bound ら[11]は, 仮想現実感と拡張現実感で水ポンプの組み立て作業を行い人間の

作業補助として効果を比較する研究を行った. 仮想現実感システムは, 参加者が立体

眼鏡を着けながらディスプレイを見て 2D マウスで操作を行うデスクトップ型 VR と,

ヘッドマウントディスプレイと 3D マウスを使った没入型 VR である. 拡張現実感シ

ステムは, 水ポンプの組み立て図が固定の位置に表示されているヘッドマウントディ

スプレイを参加者が着け, 組み立て作業を行うシステムである. この研究により, 拡

張現実感システムは仮想現実感システムより作業支援の効果が高いことを示した.

Max ら[10]は, CG の物体操作に焦点を当てて仮想現実感と拡張現実感を比較する研

究を行った. このシステムでは, 参加者がヘッドマウントディスプレイを付け, 2 つの

CG の立方体を 1 つに重ね合わせるという作業を拡張現実感と仮想現実感で比較した.

仮想現実感システムでは, 立方体以外の映像は同じだが , 拡張現実感システムでは ,

参加者の頭を動かすと立方体以外の映像も変わる. この映像の違いから, 拡張現実感

の方が作業支援の効果が高いと示した.

5.2拡張現実感によりルービックキューブを完成させる関連研究

拡張現実感により, ルービックキューブを解く作業支援の研究では, 橋塚[12]らが

マーカーレス AR により, ルービックキューブに色を重畳し解法へ導く研究を行った.

これは, 参加者がヘッドマウンドディスプレイを装着してルービックキューブへカメ

ラを向けることで, ルービックキューブの色認識を行い, 解法を計算し, 完成までガ

イダンスをするシステムである. 本結果から, 拡張現実感が作業の習得効果を高める

と分かった.

Park[13]らは, 拡張現実感と筋電センサーデバイスを使い, ルービックキューブを

完成へ導くシステムを作成した. 本システムは, 参加者の手をグーにすると筋電セン

サーが認識し, ルービックキューブの次に回す場所と方向が矢印によって表示される.

22

参加者が指摘された部分を回している時は, 手が開いているため, 矢印は変化しない.

この作業を繰り返すことで, ルービックキューブを揃えることができ, 結果として拡

張現実感は, 人間の作業支援の向上に役立つと分かった.

23

第 6章 仮想現実感システムと拡張現実感システム

の実験とその結果

6.1 実験環境

6.1.1 仮想現実感の実験環境

参加者は, ポジショントラッカー(図 4.1)に対してヘッドマウントディスプレイを

向けることで, 作業支援の色が画面の中央に表示される.

図 4.1 : ポジショントラッカー

24

参加者は, ポジショントラッカーに対してヘッドマウントディスプレイを向けると,

CG のルービックキューブと作業支援の色が表示されているので, CG のルービックキ

ューブに触れて指摘された場所を回転させる(図 4.2).

図 4.2 : 仮想現実感の実験環境

25

6.1.2 拡張現実感の実験環境

参加者は, ヘッドマウントディスプレイの中央に表示されている作業支援の色にル

ービックキューブを合わせ, ガイダンス通りに回転させる(図 4.3).

参加者は, 仮想現実感と同じ色配置のルービックキューブから始めて完成させる.

(図 4.4).

図 4.3 : 拡張現実感の実験環境

26

6.2 実験方法

本研究では, 5人の参加者が仮想現実感と拡張現実感のシステムを体験した. 参加

者は, システムの操作に慣れるために, 15分間システムの体験をした. 参加者がルー

ビックキューブを完成させるまでの時間と, 作業を終えた後にアンケートを取った.

アンケートの質問は2つである.

第1に, 仮想現実感と拡張現実感のシステムの快適性はどちらが良かったですか ?

第2に, 物理的な作業が伴う環境と伴わない環境のどちらがやりやすいと思います

か ?である.

図 4.4 : ルービックキューブの最初の色配置

27

0

50

100

150

200

250

300

350

1人目 2人目 3人目 4人目 5人目

AR VR

6.3 実験結果

5 人の参加者が, 仮想現実感と拡張現実感のシステムを体験して時間を測った結果,

全ての参加者で仮想現実感は拡張現実感よりルービックキューブを完成させる時間

が速かった(図 4.5).

快適性について仮想現実感と拡張現実感のどちらが良かったかという質問の結果

は, 全ての参加者が仮想現実感の方が良いという回答をし, その理由はルービックキ

ューブの層の中心に触れると回るという作業が簡単だったので, 操作の快適性が良か

ったという意見が多かった.

物理的な作業が伴う環境と伴わない環境のどちらが作業しやすいと思うかという

質問には, 全ての参加者が物理的な作業が伴わない環境の方が作業しやすいという回

答を得た. その理由は, 物理的な作業が伴わない作業は, ルービックキューブを持つ

必要がないので, 手が疲れずに作業に集中できたからという意見が多かった.

時間

/秒

図 4.5 : 参加者がルービックキューブを完成させる時間

28

6.4 結果の考察

本研究の結果では, 複雑な作業支援において仮想現実感の方が拡張現実感より作

業時間, 作業の快適性の効果が大きいと分かった. 本結果から, 物理的な作業が伴わ

ない仮想現実感と物理的な作業が伴う拡張現実感の違いから, 作業支援としてのそ

れぞれの利点が考えられる.

仮想現実感は, 物理的な影響がないので自由度の高い作業環境を設計でき, 複雑な

作業を簡単な操作で行えることで, 人間が作業を効率的に理解できる利点がある. 一

方, 拡張現実感は, 人間が手に触れている物体の感覚を感じながら作業するので, 皮

膚感覚を使い操作に慣れる利点があると考えられる. 本研究のようなルービックキュ

ーブのみを使い, 手を複雑に動かす作業では, 皮膚感覚を使う操作よりも簡単に操作

が可能な仮想現実感のシステムの方が, 作業支援として効果が大きかったと考えられ

る.

29

第 7章 おわりに

7.1 まとめ

本研究では, 複雑な作業において仮想現実感と拡張現実感の作業支援の効果につい

て調べた. そのために, 本研究では, ルービックキューブを完成へ導く仮想現実感と

拡張現実感のシステムを作成し, 参加者が完成させるまでの時間と, システムについ

てのアンケートを取った.

仮想現実感のシステムでは, 参加者が装着するヘッドマウンドディスプレイには

CG のルービックキューブと作業支援をする CG の色が表示されている. 参加者は, 机

の上に置いたハンドトラッキングができる LeapMotion に対して手をかざすことで,

CG のルービックキューブをジェスチャーで操作する.

拡張現実感のシステムでは, 参加者は LeapMotion を付けたヘッドマウントディス

プレイを装着し, 作業支援の CG を見て, 指摘された方向へ手でルービックキューブ

を回し完成させる.

本研究の結果では, 仮想現実感は拡張現実感よりルービックキューブを完成させる

時間は早く, 快適性も高いことを示した. これは, 仮想現実感のシステムでは, ルー

ビックキューブの層に触れて回すという簡単なシステムであったことと, 物理的なフ

ィードバックがないため, 手が疲れず操作ミスが少ないことが理由だと考えられる.

また, 仮想現実感と拡張現実感の技術の違いから, 作業支援としてのそれぞれの利

点が考えられる. 仮想現実感は, 物理的な影響がない環境を設計でき, 複雑な作業を

簡単な操作で行えることにより, 人間が作業を効率的に理解できる利点がある. 一方,

拡張現実感は, 人間が手に触れている物体の感覚を感じながら作業するので, 皮膚感

覚を使い操作に慣れる利点があると考えられる. よって, 本研究のようなルービック

キューブのみを使い, 手を複雑に動かす作業では, 皮膚感覚を使う操作より, 簡単に

操作が可能な仮想現実感のシステムの方が, 作業支援として効果が大きかったと考え

られる.

30

7.2 今後の展望

今後, 本研究は多くの作業領域において, どちらが人間の作業支援として効果があ

るのかを比較することが考えられる. そのために, 仮想現実感と拡張現実感を同一の

作業環境で比較することが必要である. 仮想現実感では, 人間の手で操作を行うのと

同じように, CGの物体に触れた感覚がリアルタイムに伝わる触覚デバイスを使用する

ことや, 現実にある様々な作業環境を 3 次元空間の中で CG として細かく再現するこ

とが必要である. 拡張現実感では, 様々な物体の認識や追跡をリアルタイムに行い,

CG を重畳することが考えられる. これにより, 例えばアルバイトの作業支援におい

て, 仮想現実感と拡張現実感のどちらがレジの打ち方や商品の扱いについて効率的に

できるようになるのかという実用的な環境の比較ができ, 社会へ応用されることにな

ると考えられる.

31

付録

アンケート

Q1仮想現実感と拡張現実感のシステムの快適性はどちらが良かったですか？

仮想現実感or拡張現実感

Q2そのように思った理由を教えてください。

Q3物理的な作業が伴う環境と伴わない環境のどちらがやりやすいと思いますか？

伴う環境or伴わない環境

Q4そのように思った理由を教えてください。

32

謝辞

本論文は, 筆者が早稲田大学院情報生産システム研究科の田中二郎研究室に在籍中

にまとめたものです. 本研究を進めるにあたり, 指導教員である田中二郎教授にはゼ

ミを通して, 丁寧なご指導とご意見をいただき心より感謝いたします. また, インタ

ラクティブプログラミング研究室の皆様には, 実験への協力や研究に対する助言を頂

き大変お世話になりました. この場を借りてご協力頂いた関係者の皆様に深く感謝い

たします.

33

参考文献

[1] Ivan E. Sutherland, “The Ultimate Display”, IFFIP Congress, pp. 506-508, 1965.

[2] Nong Ye, Prashant Banerjee, Aemarnath Banerjee, Fred Dech, “A Comparative Study

of Assembly Planning in Traditional and Virtual Environments,” IEEE

TRANSACTIONS ON SYSTEMS, vol.29, no.4, pp.546-555, November 1999.

[3] Mario Covarrubias, Monica Bordegoni, “Immersive VR for natural interaction with a

haptic interface for shape rendering”, IEEE TRANSACTIONS ON SYSTEMS, pp.82-89,

Seotember 2015.

[4] Larry Greunke, Amela Sadagic, “Taking Immersive VR Leap in Training of Landing

Signal Officers”, IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER

GRAPHICS, vol.22, no.4, pp.1482-1491, April 2016.

[5] Ivan E. Sutherland, “A head-mounted three dimensional display”, Fall Joint Computer

Conference, pp.757-764, 1968.

[6] 元川洋一, 斎藤英雄, ”拡張現実感を用いたギターの演奏支援システム”, 映像情報

メディア学会, vol.61, no.6, pp.789-796, 2007.

[7] 後 藤 道 彦, 植 松 裕 子, 斎 藤 英 雄, 仙 田 修 司, 池 谷 彰 彦, “作業空間

への教師ビデオ重畳表示による AR 支援システム”, 画像電子学会, vol.39, no.6,

pp.1108-1120, 2010.

[8] 藤本雄一郎, 山本豪志朗, 武富貴史, 宮崎純, 加藤博一, “拡張現実感における情報

提示の特性とユーザの記憶効率の関連性”, 日本バーチャルリアリティ学会 ,

vol.18, no.1, pp.18-91, 2013.

[9] Kingkarn Scookhanaphibarn, Pujana Paliyawan, “Virtual Reality System for Fire

Evacuation Training in a 3D Virtual World”, IEEE 5th Global Conference on Consumer

Electronics, pp.1-2, October 2016.

[10] Max Krichenbauer, Goshiro Yamamoto, Takafumi Taketom, Christian Sandor,

Hirokazu Kato, “Augmented Reality vs Virtual Reality for 3D Object Manipulation”,

34

IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 14, no. 8,

pp.1-10, August 2015.

[11] A.C. Boud, D.J. Haniff, C. Baber, and S.J. Steiner , “Virtual Reality and Augmented Reality

as a Training Tool for Assembly Tasks”, Proceedings of 1999 IEEE International

Conference on Visualization, pp. 32–36,1999.

[12] 橋塚和典, 神原誠之, 萩田紀博, “拡張現実感によるルービックキューブ解法教示

システム”, Information Processing Society of Japan, vol.2014-CVIM-190, no.25, pp.1-

6, 2014.

[13] Jaebum Park , Changhoon Par, “Augmented Reality Based Guidance for Solving

Rubik’s Cube Using HMD”, HCI International 2016 poster, pp.524-529 ,22 June 2016.