Upload
naver-d2
View
6.667
Download
8
Embed Size (px)
Citation preview
DAQRI Helmet’sComputer Vision System Development
김병수
1
Speaker
Byungsoo Kim김병수
- Senior Computer Vision Scientist at DAQRI
- PhD/MS in computer vision from University of
Michigan, Ann Arbor
- Visiting Researcher at Stanford University
- Bachelor from KAIST
2
DAQRI Helmet
3
4
DAQRI Helmet
for
Augmented reality device
Internet of thingsfor industry
5
Why DAQRI Helmet?현장에서의 필요성
Opportunities in Industry
6
현장에서의 문제점들
- 여기는 어디? 난 무얼 보고 있는가?
- 그래서 뭘 해야 하더라…
- 저 기둥이 살짝 기운 것 같긴 한 것도 같고…7
DAQRI Helmet
8
정확한 위치 제공 (Vision & Sensors) AR 컨텐츠/매뉴얼 제공
안전 비용 절감업무 효율 향상
DAQRI Helmet vs VR Devices
- See-through display 투명한 디스플레이
- 실제 환경을 바탕으로 한 콘텐츠9
10
- 명확한 타겟 설정: Industrial market
- Multi cameras
- High-end sensors
DAQRI Helmet vs Other AR Devices
Computer Visionfor
Augmented Reality
11
AR의 원리
12
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
AR의 원리
13
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
AR의 원리
14
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
Computer Vision
AR의 원리
15
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
AR의 원리
16
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Computer Vision
AR의 원리
17
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
영상, 센서 데이터로부터 물체/타겟 종류 인식
타겟과 글래스/유저 사이의 거리 및 각도 파악
Computer Vision
Computer Vision
관련 기술Object Recognition
Tracking
Localization
Mapping
18
Computer Vision
19
관련 기술Object Recognition
Tracking
Localization
Mapping
Computer Vision
20
관련 기술Object Recognition
Tracking
Localization
Mapping
Computer Vision
21
관련 기술Object Recognition
Tracking
Localization
Mapping
Computer Vision
활용 분야에 따른 적절한 응용이 중요
22
관련 기술Object Recognition
Tracking
Localization
Mapping
Computer Vision
23
관련 기술Object Recognition
Tracking
Localization
Mapping
Computer Vision
24
관련 기술Object Recognition
Tracking
Localization
Mapping
25
Computer Vision
However, camera-only-based computer vision is very challenging in the industrial environment.
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
26
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
27
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
28
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
29
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
30
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
31
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제32
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
-����������� ������������������ Image/signal����������� ������������������ processing����������� ������������������ -����������� ������������������ Computer����������� ������������������ vision
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제33
Vision + Sensors
Vision의 한계
텍스쳐 부족 or 광원 환경 변화 or 금속성 소재
Useful Sensors
Inertial Measurement Unit
Depth sensor
GPS
관련 과제들
센서 및 비전 사이의 calibration
데이터 싱크 문제34
Computer Vision System 개발 과정
35
Computer Vision
처리 속도 & 정확도
36
Computer Vision
처리 속도 & 정확도
37
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
38
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
39
개발 과정
Use the right tool : 필요한 기술을 잘 고르자.예: 정확성 vs 속도? 스케일?
Visual BoW
TF-IDF
Deep Learning
Bundle Adjustment
Kalman Filter
40
개발 과정
Speed, speed, speed : Basics can do many things!
Linear algebraGeometryConvex optimizationLinear optimization
Optical flowHomography trackerKalman filter
41
개발 과정
Speed, speed, speed : 하드웨어 최적화를 항상 염두에!
42
개발 과정
결론: Build from scratch
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
43
개발 과정
결론: Build from scratch
Core Math
Linear Algebra Geometry Optimization
PatchTracker Optical FlowKalman
FilterBundle
Adjustment
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
44
개발 과정
결론: Build from scratch
Core Math
Linear Algebra Geometry Optimization
PatchTracker Optical FlowKalman
Filter
HardwareOptimization
Bundle Adjustment
Homography Tracker
3DTracker SLAM 2D/3D
Recognition
45
어려운 점들
이론과 실제의 차이 : Computer vision (소프트웨어) <-> Sensors (하드웨어)
46
어려운 점들
이론과 실제의 차이 :예: 후방 카메라만 이용하면 SLAM이 잘 안 되더라. (왜?)
47
Open Sourcefor
AR Community
48
오픈 소스
Coming soon!
49
다루지 않은 주제들
50
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
51
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
52
SensorsSensors
Sensors Camera(s)
CPU
+ Optical����������� ������������������ Combiner
Scene
generator
다루지 않은 주제들
안 다룬 주제들
- Optics- Head tracking- Eye tracking- 3D modeling
53
SensorsSensorsSensors
Camera(s)
CPU +Optical����������� ������������������ CombinerScene
generator
Q&A
54
Thank You
55