3D Time Of Flight Camera의 적절한사용법과 그 한계

(Proper usage and limitation of 3D Time of flight Camera)

3D Time Of Flight Camera의 적절한사용법과 그 한계

(Proper usage and limitation of 3D Time of flight Camera)

작성자: 이민구

THree Eyes-System (THE-S)

광학적 3차원 형상측정방식

2

삼각측량 방식

간섭계 방식 시간비행 방식

비 접촉 3차원 형상측정

3

Reference : R. Schwarte, “Principles of 3-D Imaging Techniques”, in Handbook of Computer Vision and Applications, B. Jähne, H. Haussecker and P. Geissler (Eds.), Academic Press, (1999).

3차원 형상 측정의 제품

Raw image Rectified Image Edge image 3D image▶삼각측량 방식으로 두 개의 Image 센서거리에 의해 최대측정거리 결정

157 x 47.4 x 36 mm3

▶ Point Grey Stereo Vision Cameras Baseline (센서의 사이즈 증가), 많은 처리 시간

▶ 4D Technology Interferometry Camera 고가의 안정화 광원 필요

Pixelated 편광 판57 x 57 x 46 mm3 간섭계를 이용한 광학 구조 4개의 편광 판의 Image 3D Image

▶ Microsoft (Canesta) 저가, 소형화, 실내 외 적용, 고해상도, 중 장거리

LED 광원, 광 검출기 특정 주파수 CW 변조 특정 주파수 검출 거리 환산Patent :US7464351

응용분야 : 제품

Motion Capture 3D Presentation AutonomousNavigation

3D Modeling Smart Phone

ApplicationApplication

Next Generation Keyboard Finger Controller Instant 3D Printer Toys Smart Class

Smart Furniture Autonomous Parking Unmanned Vehicle Robotics Construction

Topography Defense and Security Micro Air Vehicle Smart Pad 3D Street View

응용분야 : 연구

6

Exploitation of Time-of-Flight (ToF) Cameras Author : Sergi Foix

Current 3D TOF Cameras (2013.03)Accuracy

10m 50m

100mmEPFL(AQUA)

▶ D:0.1m~ 2.5m▶ R:6cm▶ A:±3.5cm

EPFL(AQUA)TCSPC Method D:0.1m~ 3.75m

R:1mmA:±5mm

MESA▶ M : Lock-in-CCD▶ Pixels :176 x 144(QCIF)▶ FOV : 43.6 x 34.6 ▶ D:<10m, 5m▶ R:0.9 mm▶ 1σ : 5mm at 2m(50%)▶ FRS: 54 frame

Microsoft Kinect& PrimeSense

▶ M : Structured Light▶ Pixels : 640 x 480▶ FOV : 58o x 45o

▶ D: < 5m▶ R: 15 mm▶ A: <15 cm

MaximumDistance

150mm

MESA▶ M: Lock-in-CCD ▶ Pixels: 176 x 144 (QCIF) ▶ D:<7.5m▶ R: 1% of Range A:±1.5cm▶ FRS: 25

MIT ▶ Pixels: 32 x 32 ▶ D:< 500 m▶ A : a few 10 cm

Boeing SpectroLab▶ Pixels: 32 x 32▶ D : A few 100s m▶ FRS: 30 k fps▶ Size : 11 x 11 x 11 cm3

Panasonic ▶ D-Imager▶Pixels : 160 x 120▶ Frame rate : < 30fps▶ D : <5m▶ FOV : 60° x 44°▶ R: 2~5cm ( Noise)▶ W: 850nm

ASC▶ Pixels: 128 x 128▶ FOV : 45°x 45°▶ D: 60m▶ FRS: 30 fps▶ Size : 11 x 12 x 12 cm3

▶ Weight : 1.6Kg▶ Wavelength : 1570nm

PMD Tech▶Pixels : 160 x 120▶ FRS : <90fps▶ D : <2m▶ FOV : 90°x 68°▶ P: 5mm at 1.5m 70% ▶ W: 850nm▶ S: 194 x 60 x 60 mm3

PMD Tech▶ TOF Photon Mixer Device ▶Pixels : 200 x 200▶ FRS : <40fps▶ D : 0.3 ~10m▶ FOV : 40° x 40°▶ P: 3mm at 4m 75% ▶ W: 870nm▶ S: 194 x 60 x 60 mm3

Canesta▶3D CMOS ▶ Pixels: 64 x 64 ▶ FOV : 80o,55o,33o (Lens)▶ FPS : 30fps▶ R: 6cm▶ A : 30cm at 12m▶ Size : 12 x 6 x 6 cm3

Softkinect▶ TOF Photonic Mixer▶ Pixels: 160 x 120 ▶ FOV : 50o x 40o (Lens)▶ FPS : <60 fps▶ R: 3cm▶ A : <5cm▶ Size : 12 x 6 x 6 cm3

Leap Motion▶ M : Photometric stereo▶ FRS : < 290 fps▶ D : < 1 m▶ R : 10 um▶ A : 20 ~30 um▶ FOV : 150°x 20 ~30°▶ W: 850nm▶ S: 25 x 50 x 100 mm3

SR4000SR3000

D-Imager

[1].ASC[2].Boeing SpectroLab[3].Panasonic[4].PMD Tech[5].MIT[6].Softkinect[7].MESA[8].Microsoft(Canesta)[9].Leap Inc

CamCube3.0

LG3D JIGSAW

TigerEye

Leap Motion

CamBoard Nano

Kinect DS311

Softkinect▶ Pixels: 320 x240▶ FOV : 74o x 58o (Lens)▶ FPS : <60 fps▶ D : < 1m ▶ R: 1.4 cm▶ A : <5cm▶ Size : 105 x 31 x 27 mm3

DS325

1m

5mm

10mm

DP200

Specification of commercial 3D TOF camera

8

판매 업체 Microsoft(Canesta)

PMD Mesa Imaging

ASC MPD Softkinectic

모델명 KinectCanestaDP200

CamCube3.0

CamBoardNano

SW4000 Tiger Eye SPC2 DS311

핵심기술 Structured Light

HomodyneIQ Mixing

PhotonMixer Device

PhotonMixer Device

Lock-inCCD

InGaAsAPD+Direct

TOF

SPAD +Synch Photon

Counting

PhotonicMixer

Structure

최대 측정 거리 5m 12m 7m 2m 5m 70m 7.5m 4.5m

FOV수평 58 55 40 90 43.6 45° NA 57°

수직 45 55 40 68 34.6 45° NA 42°

분해능화소 640x480 64x64 200 x200 160 x 120 176 x144 128 x128 NA 160 x 120

거리 15mm 10cm mm mm 2.5cm cm NA cm

정확도 (1σ) 7cm 0.6cm 0.3cm 0.5cm 1cm A few cm NA 2cm (3m)

Frame Rate 30 fps 30 fps 40 fps 90 fps 54 fps 30 fps 98k fps 60 fps

용적 (mm3) 300x7.5x6.25

125x60x63194 x 60

x6037x30x25 65 x 65 x68 110x112x121 60x60x82 290 x180 x100

소비전력 < 12W 10W < 17W <2.5W < 24W < 50W < 5W < 10W

사진

[1]-Kinect ( Microsoft + Primesense)

9

Structured Light MethodStructured Light Method

Principle

1 2

3Speckle Pattern

4

Implementation

Known Pattern to the scene and compare the reflected image with Ref

Patent : US7,433,024 B2 : PrimeSense Range Mapping using speckle decorrelation

ReferenceObject

Correlation

Body parts Joint Segments

Projecting the laser speckle pattern

Depth Sensor

RGBSensor

LightSensor

ASIC: Prime Sense

[2]- CSEM and MESA Imaging

Lock-In-Pixel MethodLock-In-Pixel Method

Principle

LED Array CCD based Solid state 3D TOF Lock-in-pixels

CW modulation (50% duty)

)()()()(arctan

20

13

CCCC

MfcD

4

Implementation

Ranging Performance

2sin

220

213 AAAA

tA

tAAAAB

4

3210

Pixel level demodulation

Range: 0.5 ~10m Resolution: <2.2cm within 5m (99%) Accuracy : ± 1cm Pixels: 176 x 144 (QCIF) ,40um Pitch Max Frame rate per sec : 54 fps H :43.6o, V: 34.6o , Resolution : 0.23o

H :69o, V: 56o , Resolution : 0.39o

Eye safety : class 1, Wavelength : 805nm Communication : USB2.0 or Ethernet Size : 65 x 65 x 68 mm3 (USB) Weight : 470g Power : 12V/0.8A (<10W)

[1]-MESSA Imaging

SR4000

SwissRanger 3D Viewer Application Program

Lateral Resolution

SR3000

3D 시간비행 CAMERA 원리

11

[1] : 기존의 Direct TOF(Pulsed TOF)센서를 이용한 카메라에 관해 언급 X( 낮은 Pixel 해상도, 고가의 제품 및 1550nm 파장(Advanced Scientific Concept))

[2] : AMCW의 Demodulation을 하기 위한 Lock-in-pixel TOF Camera에 대해서 언급

상용 3D Camera는 (NIR) 영역의 광원(LEDs, Laser Diode) 을 AMCW 방식을 이용하여 방출된 광원이 물체에 반사되어 되돌아오는 광원을 수신하여 위상 차이를 구하여 거리를 측정.

3D 카메라에서는 각 픽셀 단위로 이 위상을 계산하여 거리로 환산하는 Read out Circuit을 내장하고 있다.

3 1

0 2

arctan m mm m

0 1 2 3

4m m m mB

2 23 1 0 2

4m m m m

A

Offset

Amplitude

Phase

2d c t

2 m

tf

2 2 m

cdf

3D TOF 카메라?? What is that?..

12

1) Depth and Intensity images I-D(TOF Camera) Vs RGB-D (Kinect)

2) 고속의 frame rate 이미지 획득 ( 최대 : 수KHz /s)

3) 초 소형화 (5cm3),low weight ( < 수백 g)

4) Scanning 기구 부 (pan and tilt) 의 부재로 진동에 안정화된 구조

5) 능동 광원의 필요 ( Eye-safety 만족하는 IR 광원)

6) Lens 변경을 통한 FOV 조정 가능

7) Dynamic Scene, Non-cooperative Target 측정에 알맞음

13

Current Issues of 3D TOF Cameras

13

A. Systematic Errors : [1]. Depth distortion[2]. Integration-time-related error[3]. Built-in pixel-related errors[4]. Amplitude-related errors[5]. Temperature-related errors

B. Non-Systematic Errors[6]. Multiple light reception[7]. Motion blurring

Calibration

Filtering

Predictable:카메라 성능

Unpredictable:측정 물체에 의존

1st Error : Wiggling Effect

14

Fig. 3. Depth distortion offset (Wiggling effect). (Blue dots)Measurements captured with a SR3100 ToF camera

at multiple integration times (2 ms–32 ms). (Red line) 6 degrees polynomial approximated function

wiggling or circular error

Modulation광원의

비선형성 때문(Ideal : No Pure sinusoidal)

T. Kahlmann, F. Remondino, and H. Ingensand, “Calibration for increased accuracy of the range imaging camera Swissranger™,” in ISPRS Commission V Symp., Dresden, Germany, Sep. 2006, pp.136–141

해결책: Look-up Table(거리에 따라 각각 보상)

20cm

2nd Error : Integration-time-related error

15

Integration time (IT) : Adjustable by the user Or Some cameras have an auto IT mode

■ 1m 떨어져 있는 흰색 벽을 반복 측정한 결과

1. 첫째 : 하나의 IT 값 정한 후다른 에러의 보상을 실행한 IT 값 고정

2. 둘째 : 각 Depth distortion + Different IT 의 값을 적용한 Curve fitting 식을 구함

IEEE SENSORS JOURNAL, VOL. 11, NO. 9, SEPTEMBER 2011 Lock-in Time of Flight(ToF) Cameras A Survey

2ms 4ms 8ms

3rd Error : Built-in pixel-related errors

16Depth-colored fixed pattern noise (FPN) offset per pixel.

원인 : different material properties in CMOS-gates ( 각 픽셀 마다 다른 고유의 offset을 가짐)

▶Amplitude-related errors와 이 에러는 분리가 힘들다

▶ Image 센서 업체의 초기 보정( Dark Current 보상)

▶ 센서의 양산시 고려(회로 내장 or 소프트웨어적으로 보상)

▶ FPN 함수는 Row and column 픽셀위치에 따라 의존도가 있으며, 이는LUT 의 Calibration Factor에 반영

▶ 카메라를 구매할 경우 Vendor에서직접 각 카메라의 FPN matrix 보정 파일제공

■ 160 x 160 pixel 해상도를 갖는 CMOS Image Sensor의 Offset 값

4th Error : Amplitude-related errors

17

Depth-colored amplitude-related errors

원인 : [1]-약한 Amplitude의 값 또는 Over-exposed 반사된 진폭 현상 때문.[2]-광원의 non-uniformity ( 물체 까지의 빛이 고르게 가지 못함) LEDs 출력파워가 균등X [3]-실제 물체의 균질도 (표면의 거칠기)[4]-실제 물체의 다른 Reflectance 때문에 ( 반사계수 보상 필요)

▶ 낮은 진폭 값은 Threshold filter으로 제거가능하나 이는 실용적이지 못함

▶ Over-exposed의 경우 카메라 자체에서검출 해내는 기능의 회로 추가

(SR4000)

▶ Reflectance의 다름 : 반사 도에 따른 각거리의 보상 LUT사용

▶ Amplitude-Depth 의 관계식을 통한 보상

■ 0.43m 떨어져 있는 흰색 벽을 측정한 결과

5th Error: Temperature-related errors

18

O. Steiger, J. Felder, and S.Weiss, “Calibration of time-of-flight range imaging cameras,” in Proc. IEEE Int. Conf. Image Process., San Diego, CA, Oct. 2008, pp. 1968–1971.

F. Chiabrando, R. Chiabrando, D. Piatti, and F. Rinaudo, “Sensors for 3D imaging: Metric evaluation and calibration of a CCD/CMOS time-of-flight camera,” Sensors, vol. 9, no. 12, pp. 10 080–10 096, 2009.

해결책 : 카메라의 온도 안정화를 위한 내부,외부 온도 제어 장치 필요하며, Median Filter를 이용하여 몇 십분 정도의 안정화 시간 후 측정 시 ±1cm의 정밀도를 획득

■ SwissRanger4000의 온도특성 시험

10cm

T. Kahlmann, F. Remondino, and H. Ingensand, “Calibration forincreased accuracy of the range imaging camera Swissranger™,”in ISPRS Commission V Symp., Dresden, Germany, Sep. 2006, pp.136–141.

Median Filter

6th Multiple Light Reception

19

■투명한 물체의 광원의 투과성 때문에 거리 왜곡 발생

■투명 케이스의 특정 면에서는 거리가 측정 되나 일부 면은 투과됨

■ 반사도가 심한 곳에서는 일부 픽셀이 왜곡되는 현상이 발생

■ 광원의 특정 반사 각도에 따라서 반사율이 심한 곳에서 에러 발생Concavities object

7th Motion Blurring

20

Motion blurring

(1) Traditional cameras are used in dynamic environments

(2) Physical motion of the objects or the camera during the integration time for sampling

(3) Motion blurring errors : Two Types (lateral and axial motion)

(4) 2-D image sensor and a PMD camera is used in order to detect

(5) lateral motion artifact ( 2D 이미지의 Edge 로 보상)

(6) 다른 방법 : Average of positionally weighted neighboring pixels is recommended

(7) Lateral motion artifacts are identified first, by estimating optic flow from some

preprocessed phase-sampled images, afterwards, axial motion estimation approach and a

theoretical model for axial motion deviation errors.

Static hand

해결책 ; 빠름!! 빠름!!

Olleh!!Dynamic hand

21

결론

22

[1]-TOF카메라는 인간의 환경에 만족할 만한 장치이며 : Eye-safety, 비 접촉 측정, 비 Marker

[2]-Depth-Intensity의 각 2개의 Image는 각 특성을 잘살려 이용될 수 있을 것이다 (보상)

[3]- 2D Camera와 Data 융합하는 연구가 많이 되는데 더 많은 연구가 필요함 (삼성 Case조사)

[4]- Short Integration : Low SNR , Long Integration : Saturation // Trade Off

[5]- Non-ambiguity Range 의 극복: Multiple Modulation Frequency

[6]- 가장 중요한 것은 Ambient Light noise, Motion Artifacts( 다중 물체 간섭현상),

Low High Reflectivity Surface 해결

A 640×480 Image Sensor with Unified Pixel Architecture for 2D/3D Imaging in 0.11μm CMOS Seong-Jin Kim, James D. K. Kim, Sang-Wook Han, Byongmin Kang, Keechang Lee, Chang-Yeong Kim Samsung Advanced Institute of Technology

다양한 기술 :