간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법

간단한 기구부와 결합한 공간증강현실

시스템의 샘플 기반 제어 방법

CADCAM 2015 동계학술대회

이아현 이주호 이주행UST / ETRI 리츠메이칸 대학교 ETRI / UST

특별세션 - 제 17회 가헌학술상

*

목 차

1. RSAR(로봇공간증강현실) ?

2. CAD 모델 기반의 기구학 제어

3. 제안된 샘플 기반의 기구학 제어

4. 구현 및 실험 결과

5. 결론

AR Augmented Reality

SAR Spatial Augmented Reality

RSAR Robotic Spatial Augmented Reality

1. RSAR ?

AR 증강현실Augmented Reality

1. RSAR ?

Augmented Reality

Vuforia (Qualcomm AR SDK) | 2014

1. RSAR ?

SAR 공간증강현실Spatial Augmented Reality

1. RSAR ?

Spatial Augmented Reality

HideOut | Disney Reaserch | 2012

OmniTouch | CMU | 2011 OASIS | Intel Labs | 2010

IllumiRoom | Microsoft | 2013

1. RSAR ?

RSAR 로봇공간증강현실Robotic Spatial Augmented Reality

1. RSAR ?

Robotic Spatial Augmented Reality

LuminAR | MIT | 2010

Ubiquitous Display | Ritsumeikan U | 2009 PixelFlex | MIT | 2001

Beamatron | Microsoft | 2012

1. RSAR ?

미래형 로봇 컴퓨터 | ETRI | 2012

Robotic Spatial Augmented Reality1. RSAR ?

2. CAD모델 기반의

기구학 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어

RSAR 기구학 제어 단계 구성

프로젝터-카메라 캘리브레이션

기구학 설정 단계

응용단계

PCU (Projector Camera Unit)


실세계 좌표계

프로젝터 좌표계카메라 좌표계

𝐻"#

𝐻"$

𝐻#$

𝑝#

𝑝$𝑝"

프로젝터-카메라 캘리브레이션PCU 캘리브레이션기구학 설정 단계

응용 단계



프로젝터와 카메라가 물리적으로 고정되어, 카메라 위치/자세

정보만으로 프로젝터 위치/자세 정보를 계산할 수 있다.


프로젝터-카메라 캘리브레이션 결과


CAD 모델 기반 기구부의 기하학정보 추출

𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

PCU 캘리브레이션기구학 설정 단계

응용 단계



𝑞'

𝑞(

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

링크의 길이





응용 단계

𝒒𝟎

𝒒𝟏

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

관절 회전축의 위치





응용 단계

링크의 길이

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

𝐾4

𝑞'

𝑙'

𝑙(

𝑙*

𝑟6

𝑟7

𝑟8

𝑞(

𝑝6

𝑝7

𝑝7

엔드이펙터의 위치/자세 계산정기구학

역기구학

목표 위치로 이동하기 위한 관절각 계산

LJ

L

)(

),,(),,(

AAARTA

(q)qψθppp zyx

=

= ϕ

⎥⎦

⎤⎢⎣

⎡==

10)()( 1201n

pRAAK qq

)(qrpr

fe=

−=!

qqqqqp !!! )()( Jf

=∂

∂=

정/역기구학 제어식 생성



𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

𝑦*

𝑧*

𝑥*

프로젝터-카메라

𝑙'

𝑞'

𝑞(

𝑙(

𝒍𝟐

𝑦'

𝑥'

𝑧'

RSAR엔드이펙터 = 투사영역의 중심점

기구학 설정 단계정/역기구학 제어식 생성


프로젝터 투사영역의 중심점

엔드이펙터


응용 단계

RSAR 제어 및 응용

미래형 로봇 컴퓨터 | ETRI/Ritsumeikan U | 2012


카메라 입력 영상

엔드이펙터의 위치/자세 계산

<정기구학>

영상 워핑 + 렌더링

시작

관절 회전각 계산<역기구학>

투사 영역의이동?

끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no

RSAR 시스템의 흐름도



UCR 사용자 제작 로봇User Created Robot


UCR의 장점

CAD 모델이없는 경우

조립시 오차

> 허용공차

UCR 기구학 제어의 한계점1. RSAR ? 2. CAD 모델 기반의

기구학 제어

3. 샘플 기반의 기구학 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

CAD 모델 기반 기구학 제어1. RSAR ? 2. CAD 모델 기반의

기구학 제어 3. 샘플 기반의 기구학 제어

링크의 길이

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝒒𝟎

𝒒𝟏

관절 회전축의 위치

관절의 회전각

𝝋

𝜽

엔드이펙터의위치/자세

패턴마커

샘플 기반의 기구학 제어1. RSAR ? 2. CAD 모델 기반의

기구학 제어 3. 샘플 기반의 기구학 제어

CAD 모델 기반의 RSAR 제어



응용단계



정/역기구학 수식 표현

샘플 기반의 RSAR 제어


샘플 데이터 취득 및

B-spline 기반 표현

응용단계



PCU 캘리브레이션샘플 데이터 취득 및B-spline 기반 표현

응용 단계

모터 회전 반경 설정관절 가용 범위

샘플 데이터 취득

시작

끝


B-spline 곡면 8개



샘플 데이터 취득 방법


모터 회전 반경 설정


시작

끝


B-spline 곡면 8개



응용 단계


샘플 데이터 3차원 그래프 B-spline 곡면 표현



입 력출 력

회 전 이 동

index pan tilt rx ry rz tx ty tz

𝑖 𝜃= 𝜑= 𝑟𝑥= 𝑟𝑦= 𝑟𝑧= 𝑡𝑥= 𝑡𝑦= 𝑡𝑧=

정기구학 샘플 데이터 구성

정기구학 제어 곡면 6개

{𝜃, 𝜑, 𝑟𝑥} ~ {𝜃, 𝜑, 𝑡𝑧}입력1, 입력2, 출력 입력1, 입력2, 출력



정기구학 샘플 데이터 구성

입 력 출 력

index 투사영역의 중심점 pan tilt

𝑖 𝑐𝑥= 𝑐𝑦= 𝜃= 𝜑=

역기구학 샘플 데이터 구성

역기구학 제어 곡면 2개

{𝑐𝑥, 𝑐𝑦, 𝜃}, {𝑐𝑥, 𝑐𝑦, 𝜑}입력1, 입력2, 출력 입력1, 입력2, 출력



역기구학 샘플 데이터 재구성

B-spline 곡면 표현 결과


rx ry rz

tx ty tz

정기구학 샘플 데이터

B-spline 곡면 표현 결과


pan tilt

역기구학 샘플 데이터

정기구학 제어 방법의 예

{𝛉, 𝛗}

입력 데이터

x 6

{𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛}

출력 데이터

정기구학 제어 곡면 6개

카메라 위치/자세

𝑹 𝒕𝟎 𝟏

4x4

B-spline 기반 제어


출력 데이터 계산 방법

pan tilt



<정기구학>


시작

관절 회전각 계산<역기구학>


끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no


응용 단계

CAD 모델 기반의 제어




<정기구학: B-spline 전개>


시작

관절 회전각 계산<역기구학 : B-‐spline 전개 >


끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no


응용 단계

샘플 기반의 제어


4. 구현 및 실험 결과

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

UCR-based RSAR 응용의 예(1)


프로젝터 이동

투사 영상의 와핑+렌더링 영상 투사 결과

실험 결과 영상





실험 방법


샘플 기반의 기구학 제어 방법의 정확도 측정

프로젝터-카메라가 동일한 위치에서

카메라+패턴마커 제안된 샘플 기반의제어 방법

{𝜽,𝝋, 𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛, 𝒄𝒙, 𝒄𝒚}

pan, tilt

카메라 자세/위치

엔드이펙터

{𝜽,𝝋, 𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛, 𝒄𝒙, 𝒄𝒚}

pan, tilt

카메라 자세/위치

엔드이펙터

실험 방법


샘플 기반의 기구학 제어 방법의 정확도 측정

제어점 개수카메라 위치/자세

회전( ° ) 이동(mm)

rx ry rz tx ty tz

4 x 4 0.4616 0.4081 0.0820 0.5018 0.5470 1.2953

6 x 6 0.5078 0.3199 0.0802 0.4290 0.4744 1.2769

8 x 8 0.4760 0.2999 0.0779 0.4847 0.6334 1.2042

정기구학 제어 방법의 RMSE


실험 결과

정기구학 출력데이터 = 카메라 위치/자세

제어점 개수관절각(°)

pan tilt

4 x 4 0.6970 0.5037

6 x 6 0.6676 0.4756

8 x 8 0.6287 0.4373

역기구학 제어 방법의 RMSE


실험 결과

역기구학 출력데이터 = 관절각

요 약

UCR-based RSAR의 한계점CAD모델이 없는 경우 or 조립 오차 > 허용공차

샘플 기반의 기구학 제어 방법샘플 데이터 취득

-> B-spline 곡면 8개 (정6/역2) 생성-> 곡면을 사용해 기구학(출력) 데이터 계산

구현 및 실험 결과엔드이펙터 이동을 위한 관절각 계산 -> 역기구학

엔드이펙터 위치/자세 계산 -> 정기구학

제안된 방법의 한계점

단일 영역에서 샘플 데이터 취득관절 가용 범위가 작음

2축의 로봇 팔로 제한

단일 RSAR 시스템으로 제한

단일 평면에 투사

향후 연구 계획

다중 영역에서 샘플 데이터 취득관절 가용 범위를 확장

다축의 로봇 팔에 적용

다중 RSAR 시스템의 협업

다면체/곡면에 투사

이아현([email protected])

이주호([email protected])

이주행([email protected])

감사합니다

Q & A이아현([email protected])

이주호([email protected])

이주행([email protected])

Technology

간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법