Haptics & Virtual Reality Laboratory, POSTECH

Seungjae Oh

2016. 8. 23

2016 AGIT TECH REIVEW

인간 , 컴퓨터와 교감하다We live between the Virtuality and Reality.

2Link

3

Breif History of User Interface

4

Command Line Inter-face(CLI)

5

Grphical User Interface(GUI)

6

What is the next big thing?

7

VR is the practice to go fur-ther

8

Computing to be a part of our life

9

Hardware(e.g. Sensors, Displays)

Software(e.g. CG, Signal Processing)

Inputs & Outputs of VR

UserComputing Power

Virtual Environment

Render-ing

Output

ActionInput

10

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Auditory Display

사운드를 통한 Space Localization

사운드를 통한 Cueing

Working with head-tracking features

소리의 TimeDifference, Phase, Magnitude 로 부터

소리의 Source 의 위치 , 위치변화를 인지

11

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Auditory Display

Private or Public

World-fixed or User-fixed

12

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Haptic Display

13

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Haptic Display

촉각 전달 장치 (Tactile Displays: using Vibration, Thermal, Air, Ultrasonic, Lasor, Electrostatic)

14

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Haptic Display

역감 전달 장치 (Force feedback)

15

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Visual Display

Human Factors • Interpupillary Distance (IPD): 조절가능• Gaze tracking [link] (Headtracking & Eyetrackinng[link]): 센싱

16

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Visual Display

Human Factors [link]• Field of View(FOV): Horizontal – 150 도 (monocular) ~ 180 도 (binocular)/ Vertical - ~

135 도• Visual Acuity: 20/20 is ~ 1 arc min = 1/60 도• Temporal Resolution: ~60 Hz = 16.666 ms (depends on contrast & luminance)

17

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Visual Display

행동유도성 (Affordance)

18

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Visual Display

User-fixed & Private: Immersive Experience [link]

19

Hardware

• 다양한 감각채널을 자극하여 실감나는 가상현실의 구현을 위한 디스플레이들이 존재

• Head Mount Display (HMD) 형태의 다양한 시각 디스플레이 산업계에서 등장

Trends of Wearable Display Technology- From VR to AROutput

Visual Display

World-fixed & Public: CAVE Experience

20

Hardware

• Head• Eye• Body & Hand

Technologies to Capture Action- Sensing technologiesAction

Head Tracking

• Inertial Measurement Units • Sensor Fusion• Kalman Filter

Eye Tracking

• Involuntary motions in eye• 3D eye pose estimation from 2D IR images• Mostly for better image rendering

21

Hardware

• Head• Eye• Body & Hand

Technologies to Capture Action- Sensing technologiesAction

Body & Hand Tracking

• Body: Mostly Infra-red (80~200Hz) but Magnetic(200Hz) or Multiple IMU or Depth sen-sors(20 ~60Hz)

• Hand: Depth sensors (IR patterning or Time of Flight) • Surroundings: Depth Sensors (Mostly for AR)

Kinect 1& Google Project-

Tango

LeapMotion& Intel RealSense

Kinect 2

22

Software

• 가상세계과 현실세계의 합치 (AR 에서 더 중요 )• 현실세계의 사용자 위치와 행동을 가상세계에 반영하는 과정• 입력 데이터 처리 (DSP)• 계산 알고리즘 가동 (Physics, Interaction, Computer Vi-

sion, etc)• 출력 데이터 렌더링 (Computer Graphics)• 외부 사용자와의 네트워크

Inputs to Rendering

What to Compute- From CPU to GPU

23

Research

Latency

VR

Critical Thing in Virtual Reality Viewed from HCI

• 사용성과 긴밀한 연관 • From visual sensing to motor action, the minimum is

0.1 sec

24

Research

Topics of IEEE VR 2016• Tracking and sensing• Input devices for VR/AR/MR• Advanced display technology• Immersive projection technology• Haptics, audio, and other non‐visual interfaces• Modeling and simulation• Computer graphics techniques for VR/AR/MR• Virtual humans and avatars• Multi‐user and distributed VR/AR/MR• VR systems and toolkits• 3D interaction for VR/AR/MR• 3D selection and 3D manipulation• Locomotion and navigation in virtual environments• User studies and evaluation• Perception, presence, virtual embodiment, and cognition• Teleoperation and telepresence• Applications of VR/AR/MR

Overview

Topics of IEEE VR 2017• Tracking and sensing• Input devices for VR/AR/MR• Advanced display technology• Immersive projection technology• Haptics, audio, and other non-visual interfaces• Modeling and simulation• Computer graphics techniques for VR/AR/MR• Virtual humans and avatars• Multi-user and distributed VR/AR/MR• VR systems and toolkits• 3D interaction for VR/AR/MR• 3D selection and 3D manipulation• Locomotion and navigation in virtual environments• User studies and evaluation• Perception, presence, virtual embodiment, and cognition• Teleoperation and telepresence• Applications of VR/AR/MR• Ethical issues in VR/AR/MR• Interactive storytelling in 360° videos

Recent Topics in VR Research Field- Case of IEEE VR Conference

25

Industry

360 3D Movie

Contents

• 시각 미디어를 소비하는 환경자체가 변하고 있다• 사용자의 시선 흐름 자동 제시• 높은 사용자의 행동 자유도• 사용자의 시선유도 방안• 사용자의 몰입감 , 실제감을 높이기 위한 방안

Some Changes in Industry- Case of 360 3D Movie

26

IndustryOverview

What Happens in Industry- VR first, and then AR

Why? [link]

VR<AR

AR: General VR: Spe-cific

27

IndustryOverview

What Happens in Industry- Already Started, Infra to Application

28

IndustryOverview

What Happens in Industry- Technical features

VR

• C: 콘텐츠 / P: 플랫폼 / N: 네트워크 / D: 디바이스• CPND 가 고르게 융합하며 기술적으로 발전중

29

IndustryOverview

What Happens in Industry- Leading companies

Facebook • 오큘러스 20 억달러 인수• 자체 생태계 수립 목표• 영화 , TV, 게임 , 교육 , 업무용 미팅 , 등 다양한 차세대

플렛폼• 낮은 가격 30 만원 • 유선 연결임에도 낮은 응답속도 ~30ms

Google • Project Tango• 하반기 (10 월 ) 에 첫 커머셜 기기에 탑재 (Lenovo)• 카드보드 -> 새로운 VR 플랫폼을 안드로이드에 통합예정• 오픈소스 소프트웨어 플랫폼 확장• 유투브와 연계된 360 3D 영상 서비스 및 컨텐츠 제작

Sony • PS VR 하반기 출시• 4k 해상도 지원 예정• 3D 사운드 지원• PS4 Eye 모션 인식장치 지원• 콘솔 게임 컨텐츠의 강자

Valve • 스팀 VR 을 위한 유통채널 기확보• 네트워킹 가능한 PC 게임 컨텐츠 강자 • HTC 라는 강력한 제조사와 협업• 모션 인식장치 지원• 무선 연결이며 카메라 기반의 AR 적용

30

IndustryOverview

What Happens in Industry- Leading companies

Samsung • 핸드폰 보유시 낮은 가격• 스마트폰과 연동을 통한 콘텐츠 플렛폼 활용가능• 높은 이동성• 360 도 카메라 하드웨어 ( 기어 360) 을 활용한 가상현실

영상제작가능

Microsoft • AR 형태의 HMD 인 홀로렌즈 개발중• 낮은 FOV 높은 이동성 컴퓨터 없이 동작• 다수의 자체 센서 통합• API 제공을 통한 응용프로그램 개발 가능• OS 강자 답게 Skype 및 사용성 관련 현실적 어플리케이션

다수 보유• $3000 에 이르는 비싼가격 Intel • 일체형 VR 기기 Project Alloy 발표• 자체 깊이인식 센서 통합 (Realsense)• 마이크로소프트와 긴밀한 협력관계

• 구글 카드보드와 같은 방식의 G3VR• 360 도 카메라 출시

• 그래픽 프로세서 부터 기기 개발환경까지 통합• 고해상도 낮은 지연 시간기대

LG

Nvidia

31

Key Reference

• UIUC VR Text: http://vr.cs.uiuc.edu/• Stanford VR EE267: http://stanford.edu/class/ee267/• Vitual Reality Technology 2nd Edition: http://as.wiley.com/WileyCDA/WileyTitle/productCd-0471360899.html• IEEE VR: http://ieeevr.org/2016/ & http://ieeevr.org/2017/• ETRI 기술동향 :

https://ettrends.etri.re.kr/ettrends/paper.do?paperno=0905002140https://ettrends.etri.re.kr/ettrends/paper.do

• 특허관련 : https://brunch.co.kr/@eomtank/61 • VR 기기관련 포스트 :

http://blog.samsungdisplay.com/1010 http://www.bloter.net/archives/221420http://blog.naver.com/PostView.nhn?blogId=fstory97&logNo=220743460716&redirect=Dlog&widgetTypeCall=true