동작인식 기술 및 활용 트렌드 (2013)

동작인식 기술 및 활용 트렌드

윤 훈 주[email protected]

http://www.facebook.com/firehj

2013년 5월

유비유넷 (http://www.ubiu.net)

컨트롤러 기반

<닌텐도 Wii> <소니 Playstation Move>

게임 컨트롤러를 손에 들고 작동

센서바

동작인식기술 및 활용 트렌드2/53

카메라

TV 리모컨을 손으로 작동


휴대폰

• 가속도 센서

• 지자기 센서

• 자이로센서

•휴대폰에내장된센서를이용하여동작인식


장갑을 착용하여 동작인식

<장갑형 컨트롤러> 가속도 센서, 자이로 센서, 구부림 센서


<카메라 시스템 + 적외선 반사체>

•손목이나신발에센서기기를착용하여운동량측정

손목 또는 신발에 센서 착용


밴드를 착용하여 동작인식


http://www.youtube.com/watch?v=7WYtwh0B3p0

<댄스 게임기> <닌텐도 Wii Fit>

몸무게를 이용한 게임


Camera 기반

Single 카메라 방식

•기기에탑재된기존카메라를이용한동작인식à 추가적인하드웨어없이소프트웨어로만구동

<스마트폰> <타블릿> <노트북>


스테레오 카메라 방식

• 2개의카메라로바라보는영상의차이를이용하여거리측정


Structured light 방식


Structured-light 방식

•물체에맺힌패턴의위치를분석하여거리측정


키넥트 구조

Depth Camera640x48030fps

RGB Camera640x480(30fps)1280x960(12fps)

•적외선 Light, 적외선카메라, 칼라카메라, 마이크로구성<Primesense><키넥트>


<격자 패턴><3X3 영역>

•코드화된적외선패턴을비추며,물체에맺힌패턴위치를실시간분석하여거리를측정

키넥트 IR 패턴

거리에따라IR패턴이맺히는위치가달라짐


키넥트 사용 범위

0.8미터

1.2미터

<일반모드> <근거리모드>

0.4미터

0.8미터

1) 키넥트 for Xbox360: 2명동시트래킹2) 키넥트 for Windows: 근거리모드지원(0.4m~3m)3) 키넥트 for Xbox one: 2013년출시, 6명동시트래킹, ToF 방식


3.5미터

4미터

0.8미터 1.2미터 3.5미터 4미터

2.5미터

3미터

수평 57.5도수직 43.5도

<동작 인식>

멀티 모달

• 키넥트는동작인식을기반으로음성인식및 얼굴인식과결합하여사용


<음성 인식><얼굴 인식>

키넥트 관련 제품

•키넥트는 Primesense사의거리측정기술을사용함• Primesense사의기술을적용하여여러회사에서제품을만듬

<향후 노트북/타블릿 적용>


ToF(Time of Flight) 방식


•적외선조명을비추어빛이물체에반사되어돌아오는시간을측정하여거리계산

<파나소닉의 D-imager>

ToF( Time of Flight) 방식


사용거리: 1.2m~9m각도: 수평60도, 수직 44도거리오차: 2~3cm

http://www.youtube.com/watch?v=UGGKh3cyc7w

키넥트 for Xbox one

1080P HD RGB Camera

30FPS color

Time of Flight(TOF)

Microphone Arrays

http://www.youtube.com/watch?v=Hi5kMNfgDS4


< SoftKinetic DepthSense> <PMD CamCube > <PMD CamBoard> <real.IZ 2+3D™>

ToF 카메라 제품


<FOTONIC> <MESA Imaging SwissRanger> <IEE S.A. 3D MLI Sensor> <ARTTS camera>

칼라영상 일체형 ToF 센서

•칼라카메라센서에거리를측정할수있는픽셀을삽입하여하나의센서로칼라영상과 Depth영상동시획득


Samsung

Depth Map


Depth 표시

•거리별로색깔이나밝기를부여하여 Depth를쉽게파악할수있음

<거리별 색깔로 구분> <거리별 밝기로 구분>


• 3D 데이터를구성하여다양한각도에서바라볼수있음

Point Cloud

<얼굴>


로봇 분야에 활용

•이동하는공간상에있는물체까지의거리를측정하여지도를구축함à로봇이장애물에부닺히지않고자율주행을할수있음


Body Tracking


Body Gesture

• 골격을기반으로하여사람의동작을인식함

<6명 인식하며, 2명을 동시 트래킹> <앉아있어도 인식>

Standing: 20 JointSeating: 10 Joint


주요 Body Gesture 소프트웨어

NITE


Hand Tracking


Hand Gesture

<leap motion> 저가(70달러) 및 높은 정밀도의 동작인식 시스템


<3D모델링> <타블릿>

Hand Tracking

<Omek의 grasp> <인텔의 perceptual computing><Softkinetic의 iisu>


<3D 모델> <골격> <윤곽>

22개의 관절로 분석

Head/Eye Tracking


Face tracking


Face tracking : 아바타


<Telepresence>

Eye Tracking


<스마트폰> <노트북> <게임기>

동작인식 활용 사례동작인식 활용 사례

즐거움 및 재미


온몸을 자유롭게 움직이는 게임


실감나는 체험

<테마파크>


<모래성 쌓기> <증강현실> <당구 효과>

즐거운 학습

<과학 실험> <의료 정보>

http://www.youtube.com/watch?v=oq98_35sQko


<어린이 놀이> <증강현실 레고>

가상의 악기를 연주하는 퍼포먼스

<지휘> <드럼>


<바이올린> <기타>

제어의 편리함


<지도 검색> <3D View>

멀리 떨어진 화면을 동작인식으로 제어

<Wall>


<TV 제어> <수술시 의료정보 검색>

청중 몰입의 프리젠테이션

<증강현실 방송> <강연>


로봇 및 장난감의 쉬운 제어

<무선조종 헬리콥터> <장애인>


<로봇> <로봇>

즉석 제어


즉석 동작인식으로 마케팅에 활용

<행인을 따라가는 광고><쇼윈도우> <Security>


<나를 따라하는 로봇PC> <가상 드레스룸><지도 검색>

셀프 코칭


<헬스클럽>

나의 동작을 교정해주는 코칭

<Nike+ Kinect Training>


<골프>

<게임형 재활훈련>

재활 훈련


<노인 재활훈련>

감사합니다

53/53

윤훈 주(유비유넷대표 운영위원)

[email protected]://www.facebook.com/firehj

유비유넷 (http://www.ubiu.net)

Technology

동작인식 기술 및 활용 트렌드 (2013)