Vanishing Point Detection and Track-ing

Jeongkyun Lee

2

Vanishing Point

Related Works– Vanishing Point Detection– Vanishing Point Tracking

Proposed Method

Result

Contents

3

A set of parallel lines in the scene is pro-jected onto a set of lines in the image that meet in a common point, with a pin-hole cam-era.

Vanishing Point

4

Intrinsic camera calibration Plane rectification 3D reconstruction Orientation estimation Stabilization Etc.

Vanishing Point

5

Gaussian unit sphere A great circle: A projection of a line onto the unit

sphere Vanishing direction ⊥ Normal vectors of great circles

Vanishing Point

6

Rotational dependence the vanishing points, are not affected by the cam-

era translation, but are affected only by the camera ro-tation.

Vanishing Point

Homogeneous coordinates

Euclidean transformationRotation + Translation

Vanishing pointA projection of a vanishing direction

7

Work space– Image space, Gaussian sphere, Projective space, etc.– Hough transform, Thales theory, etc.– Bounded area(a tessellated space or accumulation

cells), Unbounded area

Clustering technique– Accumulation(Voting), RANSAC-based, etc.– Three orthogonal direction(Manhattan World), Coplanar,

etc.

Estimation technique– EM algorithm, SVD, Weighted least squre

Vanishing Point Detection

8

Nieto at al. PRL 2011– 추출된 line 들과 vanishing point 를 동시에 EM algorithm

을 통해 추정

Almansa at al. TPAMI 2003– Image plane 위에서 어떠한 prior 도 없이 vanishing point

를 추정하는 방법

Vanishing Point Detection

9

1. 매 프레임 VP 검출 후 , 가까운 VP 를 매칭하는 방법

2. 매 프레임 검출된 VPs 로부터 Orthogonal 한 tri-pod 를 형성하여 매칭하는 방법

Vanishing Point Tracking

10

Hornacek at al. CVPR 2011– RANSAC-based / Manhattan world / SVD / tripod match-

ing

Vanishing Point Tracking

11

VP 와 관련된 문제들

① Line detection 의 오차가 VP estimation 의 정확도에 큰 영향을 줌에 따라 이를 최소화 하는 방법 연구

② Work space 의 변환 시 발생하는 error 를 최소화 하기 위해 im-age plane 에서 연산

③ VP 를 이용하여 Rotation 추정

④ Tessellated 영역에 대해 동일한 weight 를 가질 수 있도록 하기 위한 영역 설정 방법

Related Works

12

1. System modeling State vector

Dynamic model

Measurement model

Real-time Orientation and Vanishing Point Tracking

13

2. Initialization Vanishing Direction: VP detection open source 사용

3. Measurement acquisition: Line tracking EDLines 를 이용하여 Line segment 검출 (~10ms) Line 의 길이 , gradient 의 크기 및 방향 등을 비교하여 매칭

4. Feature management New line feature: 검출된 line 중에 vanishing direction

과의 평행성이 일정 회전 동안 threshold 이하 일 때 Line removal: 추정된 vanishing direction 과 검출된 line

의 평행성이 일정 threshold 이하 일 때 , 또는 line 이 일정 프레임 이상 검출되지 않을 때

Real-time Orientation and Vanishing Point Tracking

14

Synthetic data

Result

15

Singularity 1

Result

16

Singularity 2

Result

17

ROVE + Line tracking + Line feature man-agement

Result

18

ROVE + EDLines

Result

19

Computational time

Matlab 에서

Feature management : 3~5 ms Prediction : 2 ms Measurement search ( Line detection + Line matching ) :

40~45 ms Update : 1ms

Result

20

Thank you!