뇌정보처리 메카니즘에 기반한 인공시각시스템 연구

뇌정보처리 메카니즘에 기반한인공시각시스템 연구

양 현 승

KAIST 전자전산학과뇌과학연구센터 (BSRC)

• 연구의 개요– 연구 목표– 분야 구성 및 내용 요약

• 연구 내용 및 결과– 대상 시각– 공간 시각– 능동 시각 – 시각 칩– 응용시스템

목차목차

개요

뇌 시각 정보처리의 장점을 인공시각 기술에 도입

• 시각정보 처리의 유연성

• 대량 시각 정보의 모듈화 및 선별적 / 병렬적 처리 능력

• 실세계 다양한 환경 변화에 대한 뛰어난 적응력• 다양한 시각정보의 효율적 통합 능력

뇌의 시각 정보처리 특성뇌의 시각 정보처리 특성

뇌 시각정보처리 기제 이해 /모델뇌 시각정보처리 기제 이해 /모델

통합 인공시각모델 /시스템

3 차원 공간인지(spatial vision)


능동시각(active vision)


응용 시스템응용 시스템 능동형 물체추적 응용시스템 스테레오비젼 응용시스템 휴먼 로봇용 인공시각시스템

뇌 시각신경계 처리경로 인지심리학적 시각연구

3 차원 대상시각(object vision)


능동적 시각정보 획득 안구운동 , 선택적 정보처리

3 차원 물체 인식 얼굴 인식

3 차원 공간 인지( depth, motion)

시각 칩시각 칩 윤곽선 검출 칩 움직임 검출 칩

최종 연구 목표 (1)

복잡한 실세계 환경에서 동작 강인한 3 차원 공간 / 대상 인식 안구운동기반의 효율적정보선택

최종연구 목표 (2)

Gray / Edge

Saccade &Vergencecontroller

특징추출

Color

Motion/Depth

대상시각대상시각

공간시각공간시각

- What pathway 및 얼굴인식 기제- 3D 물체인식 모델- 얼굴인식 모델 - 특징추출 / 영역분할- 인식성능 향상을 위한 추적 기술

능동시각능동시각

- 능동적 시각정보 획득 및 처리- 인간과 유사한 안구운동 시스템- 안구 운동과 대상 / 공간인식 경로의 관계 모델

안구운동

3D 공간인지모델

3 차원 물체인식 신경망 모델

- 물체 검출 / 인식- 얼굴 검출 / 인식

- 움직임 검출 칩- 윤곽선 검출 칩

시각 칩시각 칩

Attention

- Where pathway 기제- 양안 시각 - 움직임 인지- 결정보 분석- 공간 주의

- 3D 공간재구성- 움직임 검출 / 이해

눈운동기능을 갖는능동시각 모델

- 능동시각- 눈운동 (saccadic)- 물체추적 (tracking)

응용시스템응용시스템

HumanRobot

StereoVisionSystem

Object TrackingSystem

최종 연구 목표 (3)

- 3D 물체검출 / 인식률 90% ( 복작한 배경 , 동영상 )- 얼굴검출 / 인식률 90%

통합 시각모델통합 시각모델

3D 대상인식 , 3D 공간지각 , 능동시각

기능이 합쳐진 통합 시각 모델

프로토타입

스테레오비전시스템

인식 / 스테레오 / 추적 기능을 갖춘

휴먼 로봇 시각 시스템휴먼 로봇 시각 시스템

물체추적시스템

윤곽선 검출칩

통합 응용 시스템통합 응용 시스템

움직임 검출칩

물체인식시스템

대상 시각 기술

공간 시각 기술

스테레오비젼 시스템

능동 시각 기술

휴먼로봇 시각 시스템

능동형 추적 시스템

- 공간구조 정보 복원률 95%- 이동표적 탐지 / 인식률 90%

- 3 차원 안구제어 모델- 인공 안구 ( 부피 : 300cm3 이하 , 속도 : 300deg/s)(3 자유도 안구운동 )

- 능동형 추적 응용시스템( 인간 추적 운동과 유사성 90%)

- 착용형 맹인 안내 시스템( 변위 측정 정확도 0.5 pixel)( 전방 장애물 인지도 80% 이상 )

- 대상 / 공간 / 능동 시각 통합- 가사작업 및 안내 ( 통합된 인식기 인식률 80% 이상 )

시각 칩- 움직임 검출 칩 (256x256) - 윤곽선 검출 칩 (256x256) (On chip 프로세싱으로 소형화 )( 속도 30 fps, 수광범위 100dB 이상 )

1 차년도 2 차년도 3 차년도

스테레오비전시스템

인식 / 스테레오 / 추적 기능을 갖춘

휴먼 로봇 시각 시스템휴먼 로봇 시각 시스템

물체추적시스템

통합 시각모델통합 시각모델

윤곽선 검출칩

통합 응용 시스템통합 응용 시스템

움직임 검출칩

3D 물체 인식 모델 및 응용 기술 연구

(What pathway 모델링 )

3D 공간 인지 모델 및 응용 기술 연구

(Where pathway 모델링 )

능동시각 모델 및 응용 기술 연구

( 능동시각 모델링 )

윤곽선 검출 칩 설계

움직임 검출칩 설계

3D 물체 인식 모델 보완 및 성능 평가 ,

응용 기술 개발

3D 공간 인지 모델 보완 및 성능 평가 ,


능동시각 모델 보완 및 성능 평가 ,


윤곽선 검출 칩 응용 기술

움직임 검출칩 응용 기술

스테레오 비젼응용 시스템 연구

물체추적응용 시스템 연구

휴먼 로봇용인식 시스템 연구

스테레오 비젼응용시스템 보완 / 평가

물체추적응용시스템 보완 / 평가

휴먼 로봇용인식시스템 보완 / 평가

대상 시각(Object vision)

능동 시각(Active vision)

응용시스템(Application

System)

시각 칩(Vision chip)

공간 시각(Spatial vision)

3D 대상인식 , 3D 공간지각 , 능동시각

기능이 합쳐진 통합 시각 모델

프로토타입

통합시각모델프로토타입 개발

물체인식시스템

3D 물체 인식 모델 및 응용 기술 개발

3D 공간 인지모델 및 응용 기술 개발

능동시각 모델 및 응용 기술 개발

윤곽선 검출 칩 개발

움직임 검출칩 개발

스테레오 비젼응용 시스템 개발

물체추적응용 시스템 개발

휴먼 로봇용인식 시스템 개발

통합시각모델연구

연구 내용 및 추진체계

1 차년도 2 차년도 3 차년도

3D 물체인식 모델 및 응용기술 연구- What pathway 및 얼굴인식 기제 연구- 3D 물체인식 모델 연구- 얼굴인식 신경망 모델 연구- 시각피질 구조 신경망 모델 연구- 물체 인식위한 선택적 주의 기술 연구

3D 물체인식 모델 및 응용기술 개발- What pathway 및 얼굴인식 모형 개발- 3D 물체인식 , 얼굴인식을 위한 시각피질 구조 신경망 모델 개발- 물체 인식위한 추적 기술 개발 - 통합 시각 모델 연구

3D 공간 인지 모델 및 응용 기술 연구- Where pathway 및 공간인지기제 연구- 공간구조 복원 모델 연구 - 운동 탐지 모델 연구 - 주의기반 선택적 공간정보처리 모델 연구

3D 공간 인지 모델 및 응용기술 개발- Where pathway 및 공간인지 모형 개발- 공간구조 복원 모델 개발 - 운동 탐지 모델 개발 - 주의기반 선택적 공간정보처리 모델 개발

3D 물체인식 모델 보완 / 평가 , 응용기술 개발- 3D 물체 / 얼굴 인식 신경망 모델 보완 및 응용기술 개발- 시선이동을 통한 효율적 물체인식 시스템- 공간시각 . 능동시각과 통합- 통합 시각 모델 프로토타입 개발

3D 공간 인지 모델 보완 / 평가 , 응용기술 개발- 3D 공간인지 모델 보완 및 응용기술 개발 - 운동 탐지 모델 보완 및 응용기술 개발- 대상인식 . 능동시각과 통합

스테레오 비젼 응용 시스템 개발

휴먼 로봇용 인식 시스템 개발

물체추적 응용 시스템 개발

능동시각 모델 및 응용 기술 연구 -능동적 시각정보 획득 및 처리 연구-안구운동의 인지신경 기제 연구 - 인간의 3 차원적 시선이동 패턴 연구 - 안구운동의 3 차원 동역학 모델 연구

윤곽선 검출 칩 설계

윤곽선 검출 칩 개발

윤곽선 검출 칩 응용 기술

능동시각 모델 및 응용 기술 개발-능동적 시각정보 획득 및 처리 기술개발- 안구운동 신호의 시각계 통합 연구- 고속안구 운동의 제어 모델 개발 - 인공안구 적용을 위한 소형 고출력 Actuator 개발

능동시각 모델 보완 / 평가 , 응용기술 개발- 고속 안구 운동 제어 모델 보완 및 응용기술 개발- 고속 운동 가능한 인공안구 개발 - 공간지각 , 대상인식 기능과 통합

스테레오 비젼 응용 시스템 연구

휴먼 로봇용 인식 시스템 연구

물체추적 응용 시스템 연구

스테레오 비젼 응용시스템 보완 / 평가

휴먼 로봇용 인식시스템 보완 / 평가

물체추적 응용시스템 보완 / 평가



응용시스템(Application

System)



움직임 검출 칩 설계 움직임 검출 칩 개발 움직임 검출 칩 응용 기술

분야별 연구 내용 ( 요약 )

연구원 편성

책임급 : 3 명 선임급 : 3 명 원 급 : 20 명 기 타 : 3 명 계 : 29 명

양현승김호준이민호방승량김정훈

대상 시각


정찬섭김민식남종호이일병

공간 시각


이춘길방영봉

능동 시각


신장규윤의식

시각칩


정명진권인소

( 양현승 )

응용 시스템

총괄책임자 :양현승

인공 시각 책임급 : 13 명 선임급 : 4 명 원 급 : 54 명 기 타 : 3 명 계 : 74 명

• 대상 시각 • 공간 시각 • 능동 시각 • 시각 칩• 응용 시스템

분야별 연구 내용

3D 대상시각 모델 연구 What pathway 기제 및 얼굴인식 기제 연구

신경망 기반의 3 차원 물체인식 모델 개발

특징 추출 신경망 모델 개발 ( 색상 , 형태 , 위치 정보 추출 연구 )

얼굴 검출 신경망 모델 개발

상향식 주의에 기반한 시선결정 모델

3D 대상시각 모델 개발

3D 대상시각 모델 보완 , 통합 및 응용 개발

1 차년도 2001

2 차년도 2002

3 차년도 2003

대상 시각 대상 시각

3 차원 물체 검출 및 인식 : 정확성 90% 이상 (1 차년도 80%)

얼굴 인식 및 검출 : 정확성 90% 이상 (1 차년도 80%)

표준영상에서 특징 추출 : 오류 10% 이내

추적에 의한 인식성능향상 : 성능 향상 5% 이상

목표 : What pathway 기제 이해 및 이에 기반한 3 차원 물체 인식 모델 및 응용기술 개발

전체연구와의 상호연계

능동 시각(active vision)

능동 시각(active vision)



대상시각(object vision)

대상시각(object vision)

시각칩시각칩 응용시스템

응용시스템휴먼 로봇

응용시스템

뇌 대상인식경로 이해- what pathway mechanism -

뇌 대상인식경로 이해- what pathway mechanism -

3D 대상인식- neural model-

3D 대상인식- neural model-

특징 추출 및영역 분할

- edge linking - - segmentation -


- edge linking - - segmentation -

영상 추적- object select-

영상 추적- object select-

얼굴인식- neural model-

얼굴인식- neural model-



대상시각

뇌 대상인식경로 이해뇌 대상인식경로 이해

- What pathway 메카니즘 이해- 얼굴인식 기제의 이해 및 모델링

3D 대상인식3D 대상인식

- 3D 대상 인식 신경망 모델- 2D 시점 추출 및 학습 모델



- 형태 / 색상 추출- 부분 특징 결합- 분할 영역 추출

영상 추적영상 추적

- 선택적 주의집중- 시선 이동- 대상 추적- 인식 성능향상

- 얼굴 검출 신경망 모델- 얼굴 인식 신경망 모델

얼굴인식얼굴인식특징제공

정보선택

33D D 물체물체 // 얼굴얼굴인식 모델인식 모델

33D D 물체물체 // 얼굴얼굴인식 모델인식 모델

휴먼 로봇용 휴먼 로봇용 시각 인식 시스템시각 인식 시스템

인식 기반응용 시스템

통합 인공 시각 시스템통합 인공 시각 시스템프로토타입프로토타입

대상시각 분야내 상호연계

정확성 90% 이상



fMRI 이용한 실증

향상도 5% 이상 특징 누락 10% 이하

IT column structure stimulus

Radialfrequency

Receptive fields

3 차원 물체인식

얼굴 인식

특징추출 /영상분할

시선 결정What Pathway 기제 이해

V2

V1

P M

IT

V4

What pathway 이해(object perception)

김정훈[ 대상시각 ]What pathway 기제 및 얼굴인지

모형

• 연구목표What pathway 이해 및 얼굴인식 기제 모형 연구얼굴인식에 관여하는 what pathway 의 특성 규명

V4, IT 영역 세포 반응에 최적의 시각 속성 파악 – features defined by radial frequency

real face 인식 이전 단계의 시각표상 규명- synthetic faces 이용

1 차년도 세부목표 (1) synthetic face 의 data base 구축 (2) 다차원에서 직교하는 face hyper-cube 의 완성

what pathway

V2

V1

P M

IT

V4

receptivefield

optimal stimuli

non-Cartesian stimulus

Fourier stimulus

non-Fourier stimulus

low level: filtering through a bank oflocal linear filters

highest level: response specificity,showing tuning for complexpattern (e.g. face)

processing

intermediate level: what information would be usedand how these information would be combined for pattern (complex) recognition?

spatial or radial frequency?

연구배경대상시각 – What pathway 기제 및 얼굴 인지 모형

• 연구결과• synthetic face 의 data base 구축 (68 명 완성 )

• 얼굴인식에 radial frequency 정보 사용 여부 실험 (92% 정확 인식률 )

대상시각 – What pathway 기제 및 얼굴 인지 모형

• 연구결과• 다차원에서 직교하는 face hyper-cube 의 구축 ( 진행 중 )

• radial frequency 에 의해 생성된 synthetic face 의 인식과 관련된 뇌활동 측정 – fMRI 연구 (2 차년도 기획 )

Orthogonal Face Cube

NormalizeDistance

NormalizeDistance

NormalizeDistance

SchmidtOrthogonalize



Orthogonal Face Cube

NormalizeDistance

NormalizeDistance

NormalizeDistance




대상시각 – What pathway 기제 및 얼굴 인지 모형

- Circular neighborhood 을 고려한 edge induction- Edge vector 의 direction 과 strength 를 별도로 고려 하는 활성화 특성

-radius 를 점진적으로 감소시키는 형태로 linking 작업을 세분화

특징 추출 및 영상 분할을 위한 Neural Model 연구[ 대상시각 ]

김호준

. . . . . . . . . . . . . . .wij

u u u u u1 2 3 N-1 N

input

output

Feeding connections

Linking connections

A

B

P

e Q

x

y

R

111

1 2,

121

,

11 1i ii i j

N j iij j

N j iij

iv w u v w v w

dt

du

j j

222

2 2,

221

,

12 2i ii i j

N j iij j

N j iij

iv w u v w v w

dt

du

j j

- Feeding connection / linking connection 구조- Lateral inhibition 에 의한 non-maximum edge suppression- Linking connection 의 작용에 의한 edge induction

Edge linking 을 위한 신경망 모델 구현Edge linking 을 위한 신경망 모델 구현

Edge Linking Edge Linking 실험 결과실험 결과

Original image(378 X252) 초기 edge 추출결과

Ns = 5 Ns = 20 Ns = 100Ns = 50

Rp = 3, Ns = 50

Lateral inhibition 에 의한 nonmaximum suppression 결과

Edge linking 결과

Rp = 3, Ns = 100 Rp = 2, Ns = 50 Rp = 2, Ns = 100

효율적 영상인식을 위한 추적모델[ 대상시각 ]

이민호

• 목표 : 시선결정 및 이동 모델에 기반한 효율적 영상인식 시스템개발

• 연구내용• 정지영상에서의 응시점 결정 및 시선이동 제어 메커니즘의 모델 개발

• 칼라 영상에서 무교사학습 방식으로 Salient 특징 추출• 정지영상에서의 단안 안구운동 모방 시스템 개발

• 개발된 응시점 결정 모델 적용 실험

무교사 시선결정 모델 ( 칼라영상 ) 시선결정 모델의 무교사 학습방식

학습된 특징 필터 ( 색상 및 에지 특징 )

대상시각 – 영상인식을 위한 추적 모델

무교사 응시점결정모델 ( 칼라 ) 에 의한 시선결정 결과

도약 안구 운동 시스템의 동작모습응시점결정 시스템의 동작모습

대상시각 – 영상인식을 위한 추적 모델

얼굴 탐지 및 인식 신경망 모델 방승량[ 대상시각 ]

• 연도별 연구내용– 1 차년도 : 얼굴 탐지 방법론 개발– 2 차년도 : 얼굴 인식 방법론 개발– 3 차년도 : 통합 및 응용

• 현재 1 차년도 진행 중 : 얼굴 탐지 방법론 개발– 얼굴 후보 영역 추출 : 차 영상 , 피부색 모델링 이용– 눈 탐지에 기반한 얼굴 탐지

• 눈탐지 - 조도 threshold 을 이용하여 눈 후보 영역 탐지 , PCA 복합모델 이용하여 검증

– 얼굴 후보 영역 중 눈이 탐지된 부분에 대해 PCA 복합 모델을 이용하여 검증

– 중간 결과 : 얼굴 탐지율 : 97.52%, False positive : 1.37%

• 연구결과 – 얼굴 탐지 과정

Camera Skin Detection( 차 영상과

피부색 모델 이용 )

Eye Detection(thresholding 과

PCA 복합 모델 이용 )

Face Detection(PCA 복합 모델 이용 )

대상시각 – 얼굴 탐지 및 인식 신경망모델

3D Object Recognition

View-tuned filters

3D 물체인식 모델

…

Input Image

Filter activation

…

2D ViewRecognition

3 차원 물체인식 신경망 모델[ 대상시각 ]

양현승

뇌정보처리 및 이론 배경

Unsupervised Learning( ICA, ISA, TICA )

Learn View-based object coding

Object Recognition at ITFeature map of

2D View Tuned Neurons

View-based Object Coding of IT

• 연구 목표 : 뇌정보처리 기반의 3 차원 물체인식 모델 연구• 다양한 3D 시점에서 본 물체의 영상표현을 학습하는 신경망 모델 개발 • 최종 인식률 90% 목표 (1 차년도 80%)

[Tanaka, 96a]

2 차원 물체 모델 학습 / 인식

• 동일 시점에서의 영상특징 학습• ICA 학습 모델 구현

(Simple cell 기능 학습 모델 )• 학습된 특징을 이용한 대상인식

• 2 차원 얼굴 영상의 인식률( 정면얼굴 , 150 명 대상 )• PCA 모델 : 90% • ICA 모델 : 90%

(ICA 인식모델이 인간과 유사 )

x

A

s simple cell output ( maximumIndependent

Coding )

Feature Vector

Training image

Model image

PCA/ICAbasis

ModelDB

Test imageNearest

NeighborClassifier

Learning

Test setModel PCA answer

ICA answer

correct

correct

PCAerror

ICAerror

Botherror

대상시각 – 3 차원 물체 인식 모델

다양한 2 차원 시점 학습 / 인식

• 다양한 시점에서의 인식모델• ISA, TICA 학습 모델 기반

(Complex cell 학습 모델 )• 학습모델에 기반한 3 차원

물체의 시점 표현학습

• 3 차원 얼굴 영상의 모델학습• ISA 모델 : 동일한 View 를

표현하는 basis 들의 군집화• TICA 모델 : 유사한 View 를

표현하는 basis 들의 연속배열

Complex Cell Output

Image

Basis Group

Basis Activation

Training image

Test image ISAbasis

3D models

rendering

TICAbasis

ViewClassifier

Learning

InvariantCoding

Learned ISA basis Learned TICA basis



향후 연구 계획

• 3D Viewpoint 분류 신경망 모델• 동일한 Viewpoint 들에

반응하도록 학습된 ISA output 이용

• 입력영상으로부터 대상의 3 차원 시점을 분류

• 3D Viewpoint Invariance 학습

모델• 시간적으로 연속된 시각자극들은

동일한 대상의 다른 View 일 가능성이 높음 .

• 동일한 대상의 서로 다른 View를 연속적으로 제시 .

• 서로 다른 View 를 나타내는 표상 (coding) 뉴런들 사이에동일성 여부를 학습 (Temporal Association 학습 )

Input

ISA filtersFilter

ActivationSubspaceActivation

WTA

Viewpoint 인식 Network Model

TemporalAssociationLearning

Input

ISA filters Activation

t

Viewpoint Invariance Learning Model

1 차년도 2001

2 차년도 2002

3 차년도 2003

공간 시각공간 시각

- 공간구조 ( 색 /밝기 , 결 구조 ) 복원률 95%- 이동 표적 탐지 및 인식률 90%- 선택적 주의기제에 의한 공간정보처리 능률 개선 25%

목표 :Where pathway 기제 이해 및 그에 기반한 공간구조 / 변화 표상 모델 및 인식기술 개발

공간구조 / 변화 표상 원리 분석

공간구조분석을 위한 영상 전처리 연구 ( 색 /밝기 복원 , 결 속성 )

깊이 , 운동 정보 표상 원리 규명

공간주의기제 특성 분석

색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 방법 연구 .

공간구조 / 변화 표상 모델 개발

공간시각 모듈 보완 / 통합 및 응용 시스템개발


능동 시각 모델인공 안구 시스템능동 시각 모델

인공 안구 시스템

공간 시각 모델Where pathway 이해

공간 시각 모델Where pathway 이해

윤곽선 추출 시각칩윤곽선 추출 시각칩

대상 시각 모델What pathway 이해

대상 시각 모델What pathway 이해

인간 안구 운동 이해안구 운동 신호의 시각계 통합

윤곽선 검출 회로 및 칩 설계시각칩의 집적화 연구

색 / 밝기 복원 원리 규명운동 /깊이 표상 원리 규명

2 차원 대표 시점 추출3 차원 물체 인식 신경망

인공시각시스템

공간시각 분야 내 상호연계

밝기 , 색 , 대비

정신물리학

및

모델링

접근

정신물리학

및

모델링

접근

뇌영상기법

및

신경심리학적

접근

뇌영상기법

및

신경심리학적

접근

공간분석을 위한 영상 전처리공간분석을 위한 영상 전처리

공간표상 정보속성 분석및 특징 추론

공간표상 정보속성 분석및 특징 추론

공간적 주의 기제공간적 주의 기제

삼차원 공간처리 모형 및인식 시스템 개발

결변화 , 운동 , 깊이 ,

위치

선택 , 결합 , 전이

공간적주의 모형 개발

공간인지의 응용 모형개발영상 전처리 -recovery of surface reflectance

V2

V1

LGN

Retina

MST,VIP

Where pathway 이해

MT

R G B

retinex

adaptation

SAC cone

양안부등

global stereopsis

RDS

local stereopsis

시 - 공간변화 1st & 2nd-order motion

표면 결 지각 모형

표면 결 지각 모형

운동정보 통합 모형

운동정보 통합 모형

깊이정보 통합 모형

깊이정보 통합 모형

결지각 요인분석주파수분석

정신물리연구 다중 공간표상의

특성 규명

다중 공간표상의 특성 규명

공간적 주의모형개발

공간적 주의모형개발

색상정보에 의한 주의기반 공간특징요소의 국소 결합 , 구성원리 연구

색상정보에 의한 주의기반 공간특징요소의 국소 결합 , 구성원리 연구

운동 정보를 이용한 이동물체 탐지모형개발


3D 공간표상에서의 공간적 정보 선택

3D 공간표상에서의 공간적 정보 선택

3 차원 공간인지 모형개발 공간주의 및 응용 모형개발표면결 , 깊이 , 운동정보를 통한 3 차원

공간인지

Surface reflectance, depth, & motion modules[ 공간시각 ]

정찬섭

PQ : Proportion of equi_max in three channelsIR : Intra-Channel Ratio-Scale, L : LuminancePSC : Proportion of Surface Color for each channelC : Recovered color, OC : Overflow ControllerCM : Contrast Manipulator

PQ>.005?

R, G, B

BGR ,, IR PSC

L

C

OC

CM

Color Recovery System

• 연구결과 : System Demonstration

1. Demo with simulated illumination

Original simulated Recovered

2. Demo with movie scenes

공간 표면 결 연구공간 표면 결 연구[ 공간시각 ]

남종호

Measured Thresholds for Subject PYS

0

0.1

0.2

0.3

0.4

0.5

0.6

1 2 4 8 16

Spatial Frequency (cycle perpatch)

Thresh

olds fo

r Histo

gram

Contra

st

brightness

contrast+brightness

Measured Thresholds for Subject NJH

0

0.1

0.2

0.3

0.4

1 2 4 8 16

Spatial Frequency (cycle perpatch)

Thresh

old Hi

stogra

mCo

ntrast

brightness

contrast+brightness

1 차 및 2 차 결속성에 따른 결 분리와 공간분석기의 역할

1 차 결 속성에 의한 분리

2 차 결 속성에 의한 분리

결 분리 영역을 공간 빈도에 따라 구성할 경우 , 각 속성에 의한 결 분리량의 변화 측정

정신물리학 실험 자료

고빈도

저빈도

각 결속성과 결합된 공간분석기의 상호 독립성 연구

Selective Adaptation

CS function beforeSelective Adaptation

CS function afterSelective Adaptation

Selective Adaptation

독립

의존

Measuring Segregation thresholds

공간적 주의모형의 개발과 적용공간적 주의모형의 개발과 적용[ 공간시각 ]

김민식

작업기억과 주의의 관계작업기억과 주의의 관계

작업기억의 어떤 특성이 주의의 유도를 이끌어 내는가 ? 작업기억에 저장되어 있거나 이용되고 있는 정보가 동일한 정보로 주의를 이끄는 경우와 그렇지 못한 경우를 비교 .

작업기억과 시각탐색의 효율작업기억과 시각탐색의 효율

작업기억에서의 정보의 유지 , 조작이 선택적 주의가 요구되는 시각탐색의 효율에 영향을 주는가 ?

공간정보에 기초한 선택적 주의 과정 공간정보에 기초한 선택적 주의 과정

선택적 주의 과정을 현실세계와 근접한 조건에서 연구하기 위하여 시각 탐색과제에 배경을 부여 과제 수행과 무관한 배경정보는 시각 탐색에서 표적자극의 탐색에 영향을 미칠 것인가 ?

정신

물리학적

/

신경 심리학적

접근

다중 공간표상의 특성 규명다중 공간표상의 특성 규명

시각 정보처리 단계에 따른 다양한 공간표상의 유형과 특성을 규명 . 공간정보의 저장 양식 및 시각적 작업 기억과 시각적 주의와의 관련성 규명 . 중다 대상의 공간적 배열에 대한 공간구조표상 이해 .

공간주의 기전 연구공간주의 기전 연구

공간적 정보에 기초한 선택적 주의 과정 연구 . 각 공간표상 유형에 따른 인간의 효율적인 정보선택과정 이해 .

공간적주의기제이해

및모형개발

공간적주의기제이해

및모형개발

작업기억과 주의의 관계작업기억과 주의의 관계 작업기억과 시각탐색의 효율작업기억과 시각탐색의 효율 공간정보에 기초한 선택적 주의 과정 공간정보에 기초한 선택적 주의 과정

++

u

+

++

u

+

+

u

++

uu

+

++++

u

+

u

+

+++ +

u

+

u

+

+

u

++

u

++

u

++

uu

+

u

+

257

지금의 숫자를 기록하세요

+

+

3

씩

빼나가는 역행숫자세기과제

수행

작업 기억에 저장된 정보에 대한 탐사 반응 시간이 그렇지 않은 자극에 비해 유의미하게 빠름 .

기억해야 하는 자극의 표상이 이미 형성되어 있거나 , 공고화를 위한 노력이 필요 없는 경우에는 반응시간의 차이 유의미하지 않음 .

시각 정보 처리 방법의 차이에 따른 주의의 할당 차이 시사 .

시각정보의 효율적인 학습을 위한 인간의 처리 양식을 살펴볼 수 있는 기초자료 제시 .

작업기억 내에서 정보를 계속해서 조작하고 있어야 하는 경우의 탐색 기울기는 단독 시각탐색과제 때와 비교하여 유의미한 증가를 보임 .

작업기억 과정이 시각 탐색의 효율에 영향을 줌을 시사 .

맥락과 배경정보가 모두 동일한 조건은 맥락과 배경정보 중 어느 한쪽이 다른 경우보다 유의미하게 탐색수행률이 좋음 .

시각 탐색 자극이 동일한 공간적 위치에 제시되었더라도 자극이 제시되는 배경이 변화하면 표적자극 탐색을 위한 효율이 떨어짐 .

맥락단서효과에서 배경이 표적자극의 탐색에 영향을 줌 .

• 연구결과

색상색상 // 움직임을 이용한 선택적 공간정보처리 움직임을 이용한 선택적 공간정보처리 모형 연구모형 연구

[ 공간시각 ]이일병

1 차년도 연구목표 :

색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성

1 차년도 연구목표 :

색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성

색상정보에 의한 주의기반 공간특징요소의 국소적인

결합 , 구성방법

색상정보에 의한 주의기반 공간특징요소의 국소적인

결합 , 구성방법

선택적 주의에 관련된 상향식 방 법과 하향식 방법에 대한 기존 연 구 방법 분석 .

주의 메커니즘에 기반하여 탐지하 고자 하는 영역의 기본 공간특징요 소 추출 방법 연구 . 색상정보 및 그레이 명암도 등 상 향지식을 사용한 공간특징요소의 추출 및 조합 방법연구 .

인간 및 기계에서의 선택적공간 정보처리 메커니즘 이해

인간 및 기계에서의 선택적공간 정보처리 메커니즘 이해

신경생리학 및 해부학 문헌 활용 . 세미나 및 논문을 이용한 기존의 선택적 공간정보처리 메커니즘 조사 . 시각계의 선택적주의 메커니즘 조사 및 이해 .

• Visual Attention Methods– Bottom-up(data-driven) Approach

• 영상 전체에 걸쳐 분포되어 있는 다양한 기본 특징과도 같은 bottom-up cue 를 사용하여 관심 영역을 추출

• 인간의 시각적 주의에 대해 알려진 대부분의 것들은 모두 bottom-up cue 에 의한 것들임• 주어진 작업에 대한 어떠한 선지식도 사용하지 않기 때문에 , 시스템 구조의 큰

변경없이 다양한 응용분야에 적용 가능– Top-down(model-driven) Approach

• 수행하는 작업 , 찾고자 하는 물체 등의 이미 알고 있는 top-down cue 를 사용하여 관심 영역을 추출

• 대부분 빠른 “ pattern matching” 모듈 같은 역할 수행– 인식단계와의 부분적인 상호작용과 학습과정을 필요로 함

• 다른 문제에 적용하기 어려움

• Bottom-up Attention Models - Koch 와 Ullman 의 모형

인간의 시각적 주의에 대한 최초의 계산 모형 ‘Saliency Map’ 개념 사용

– 이후의 많은 모형들은 모두 Treisman 의 특징 모듈들에 해당하는 특징맵을 계산하는 단계와 이들을 조합한 결과로 돌출맵 (saliency map) 이나 우선순위망을 계산하는 단계 가짐

– 차이점 : 초기 시각형태인 특징맵과 돌출맵을 만들어내는 메커니즘

기존의 선택적 공간 정보처리 메커니즘 이해기존의 선택적 공간 정보처리 메커니즘 이해

DOOrG 필터를 이용한 측면억제에 의한 결합방식 모방

RGB Image

F1 F2 F3

I1 I2 I3

중요도추출모듈

S

IT1 IT2 IT3

선형 조합

특징조합모듈

색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 방법 제안

특징추출모듈 : 색상 및 명암도 밝기과도 같 은 기본 특징 요소들을 표현하는 3 개의 맵을 정의 , 특징들은 병렬적으로 추출된다 .

중요도추출모듈 : 특징추출모듈에 의해 생성 된 여러 특징맵을 중요도맵으로 변환시키는 역할을 수행하는데 , 중요도맵은 각각의 특징 맵에 있어 해당 특징맵을 구성하고 있는 특정 한 지점에서의 특징값이 국부적인 영역에 있 어서 중요도가 어떠한가를 나타내는 중요도 측정치에 대한 정보를 가진다 . 특징조합모듈 : 중요도추출모듈에 의해 생성 된 각각의 중요도맵에 대해 각 맵을 구성하고 있는 특징값들의 공간 경쟁력 특성과 이들의 통계적 정보를 바탕으로 특징을 조합하여 돌출맵을 만든다 . 이 돌출맵은 입력된 영상정 보에 대해 어떤 영역이 돌출되어 있는지에 대한 정보를 가지고 있다 .

특징추출모듈

특징의 국부 경쟁력 특성과 통계적 정보를 바탕으로 한 반복적인 비선형 특징조합

능동 시각능동 시각

1 차년도 2001

2 차년도 2002

3 차년도 2003

목표 : 인간 3 차원 안구운동을 모방하는 인공안구 개발과안구 운동신호의 시각계 통합에 따른

시각기능의 조절 연구

목표 : 인간 3 차원 안구운동을 모방하는 인공안구 개발과안구 운동신호의 시각계 통합에 따른

시각기능의 조절 연구

- 체적 300 ㎤ , 속도 300deg/s 사양의 3 차원 안구운동기구 개발- 3 차원 안구 운동과 시각 신경계의 상호작용 이해

인간 안구 시스템의 인지신경 기전 및 3 차원 동역학적 모델 개발

동역학 모델링을 위한 인간의 3 차원 안구위치 측정

인간의 3 차원적 시선 이동 패턴의 이해

인체 안구 시스템의 동역학적 모델링

고속 안구운동에 따른 시각의 역동적 조절

안구운동에 따른 시각 신경계의 역동적 조절과정 연구와 소형 고출력 actuator 개발

3 차원 인공안구의 개발 및 신경신호에 의한 제어 연구






시각칩시각칩 응용시스템

응용시스템





인간의 3 차원적 시선이동 패턴 이해

3 차원 안구측정 프레임 제작

도약 안구운동 직후에 관찰되는 운동지각에 있어서의왜곡

안구운동 시뮬레이션안구운동의 3차원 동역학 모델 연구

안구운동의 인지신경 기제 연구


능동형 추적응용 시스템

능동시각 분야내 상호연계

3 차원 안구운동의 이동패턴 연구3 차원 안구운동의 이동패턴 연구

- 안구의 3 차원적 위치 측정- 안구운동에 따른 시선이동패턴 연구

인간 안구 시스템 모델링인간 안구 시스템 모델링

3 차원 인공 안구의 개발3 차원 인공 안구의 개발

Actuator 개발Actuator 개발

안구 제어 신경신호 추출안구 제어 신경신호 추출

시각계 유입 안구 신호의 기능 연구시각계 유입 안구 신호의 기능 연구

- 시각 피질로 유입되는 안구운동 관련 신호 측정

신경생리적 연구신경생리적 연구

정신물리적 연구정신물리적 연구

- 운동 지각 및 형태 지각에미치는 안구 운동의 영향

신경모방 신호에 의한 3 차원 안구운동 기구의 확립

신경모방 신호에 의한 3 차원 안구운동 기구의 확립

[ 능동시각 ]방영봉시신경신호에 기반한 안구운동기구 개발시신경신호에 기반한 안구운동기구 개발

안구운동 시뮬레이터 개발

인간의 안구는 3 자유도를 가지고 움직임 . - 안구의 회전과 안근육의 움직임을 표현하는 모델이 필요 -3 자유도를 갖는 시뮬레이터 요구시뮬레이터의 제작-회전식 모터의 사용

실제 안구의 구조와 상이함시스템이 커짐

- 리니어 모터의 사용

x

y

L

실제 안구를 모델로 한 안구운동 시뮬레이션

안구의 직경 : 23.5mm 구무게 : 0.007kg외직근의 길이 : 40mm 상사근길이 : 안구에서 trochlea : 28mmtrochlea 에서 zinn : 32mm하사근의 길이 : 37 mm 스크린 까지 거리 : L

연구 배경 및

연구내용

안구 운동 시뮬레이션 결과

•스크린까지 거리 : L = 50cm•물체 이동 : 45˚로 상하 10cm •Helmholtz model 을 사용

안구의 회전

근육 길이의 변화

현재의 연구 방향

•Helmholtz model 에 따른 회전식 안구모형•컴퓨터를 이용하여 제어 수행

Position & Velocity Feedback

Controller

2 차년도 이후 연구 방향

•소형 고출력 리니어 모터를 이용한 안구 모델 개발 •전용 소형 제어기 개발

Amp

Position & Velocity Feedback

Motor

Controller

Miro-processor

Cntroller

3 차원 안구운동과 시각신경계의 상호작용 이해

[ 능동시각 ]이춘길

Eye MovementCommand

Visual Cortex

Attention Motivation

Memory

VisualPerception

Retinal Afference

Vision: Active Process

3 차원 안구운동에 대한 모델

• 신경생리적 결과에 기초한 3 차원 안구운동 생성 모델• 안구 운동 신호의 시각신경계 유입 가능성

능동적 과정으로서의 시각

• 안구 운동 신호와 시지각 사이의 관계• 안구 운동 관련 신경신호 -Afference signal -Efference copy

연구 배경

현 진행상황

안구의 3 차원적 위치 측정을 위한 측정 장치의 제작-Helmholz coil 을 이용한 3 차원 자기장 발생 프레임 제작 . 완료-3 차원 위상탐지회로 제작 . 완료- 안구 신호 채집을 위한 컴퓨터 인터페이스 제작 1( 하드웨어 제작 ). 진행중- 안구운동 유도 위한 자극 생성장치제작 . 진행중

앞으로의 과제

안구 운동 유도 장치 및 안구 운동 신호 채집을 위한 컴퓨터 인터페이스 제작 2( 소프트웨어의 개발 )3 차원 시선이동 측정과 패턴 연구능동시각 : 안구 - 시각 상호작용 연구

안구의 수직 , 수평 , 비틀림 위치 측정안구운동에 따른 시선이동 패턴 연구

안구의 3 차원적 위치 측정

시각계 유입 안구운동 신호의 기능 연구 (1)

NoSaccade

AfterLeftward

AfterRightward

Park, Lee & Lee (2001) Vision Research

도약 안구 운동 직후에 관찰되는 운동 지각에 있어서의 왜곡

- 고속의 안구운동은 시각에 영향- 안구운동 전후에 시각의 역동적 조절- 이의 실험적 규명도약 안구 운동 종료 직후 운동자극(200deg/s, 1000deg/s) 에 대한방향판단- 최초로 지각적 왜곡 발견

연구 내용 및 결과

1 차년도 2001

2 차년도 2002

3 차년도 2003


256*256 윤곽선 검출 시각 칩 (저전력 , 광적응 , 국소적응 개념 도입 , 응용기술 개발 )

256*256 움직임 검출 시각 칩 ( 이동 물체 탐지 및 추적 용도 , 응용기술 개발 )

윤곽선 검출 시각 칩 개발 (256*256),움직임 검출 시각 칩 개발 (256*256)

목표 :

효율적 수광소자의 설계

광적응 , 국소적응 회로의 설계

주변회로의 집적화

최소전력소비에 대한 연구

현 집적회로 기술상 문제분석

영상센서 설계 및 구현

- 256 x 256 이상의 Array

윤곽선 검출 시각 칩 설계

윤곽선 검출 시각 칩 제조 및 평가

윤곽선 검출 칩 응용기술 개발

움직임 검출 시각 칩 개발

움직임 검출기능 구현

움직임 검출 칩 응용기술 개발






응용 시스템응용 시스템

능동형 물체추적 응용시스템 스테레오비젼 응용시스템 휴먼 로봇용 인공시각시스템



3 차원 공간인지(spatial vision) 능동시각

(active vision)


윤곽 검출

움직임 검출윤곽선 검출 칩- 256*256 array- 광적응 ,국소적응- 저전력소비- 주변회로 집적화

움직임 검출 칩- 256*256 array- 디지털 신호처리부 내장- 화소의 수광범위 - 100dB 이상- 저전력 소비- 동작속도 - 100 frames/s 이상

3 차원 물체 인식 얼굴 인식

3 차원 공간 인지( depth, motion)

시각 칩 연구 추진체계

인지심리학적 메커니즘 이해인지심리학적 메커니즘 이해

- 윤곽선 검출 메커니즘 이해- 움직임 검출 메커니즘 이해

움직임 검출시각칩의 설계움직임 검출

시각칩의 설계윤곽선 검출

시각칩의 설계윤곽선 검출

시각칩의 설계

- 256*256 array- 광적응 ,국소적응- 저전력소비- 주변회로 집적화

통합 응용 시스템통합 응용 시스템통합 응용 시스템통합 응용 시스템

물체인식시스템물체인식시스템스테레오비전시스템스테레오비전시스템 물체추적시스템물체추적시스템

물체 인식 기제 및모델 연구

물체 인식 모델응용 기술 개발

- 256*256 array- 디지털 신호처리부 내장- 화소의 수광범위 - 100dB 이상- 저전력 소비- 동작속도 - 100 frames/s 이상

공간 인지 기제 및모델 연구

공간 인지 모델 응용 기술 개발

윤곽선 검출 시각 칩 개발윤곽선 검출 시각 칩 개발[ 시각 칩 ]

신장규

연구내용 32*32 방사형 전류출력 시각 칩 설계 및 측정 64*64 정방형 시각 칩 설계 Dynamic range 향상을 위한 광 적응 회로 제안 및

128*128 시각 칩 설계 주변회로의 집적화

- 6*64 decoder 설계

Photoreceptors

Horizontal cells

Bipolar cells

윤곽선추출

윤곽선추출

64x64 Edge chipEdge chip cell diagram

윤곽선 검출 시각 칩

연구결과32*32 방사형 전류출력 시각 칩 설계 및 측정

단위 픽셀

회로도

전체배치도

제조된칩 외관

현미경사진

게이트 바이어스에 따른 측정결과게이트 바이어스에 따른 측정결과 여러 입력광에 따른 측정결과여러 입력광에 따른 측정결과

64*64 정방형 시각 칩 설계

단위 픽셀

회로도

전체배치도

제조된칩 외관

현미경사진

Dynamic range 향상을 위한 광 적응 회로 제안 및 128*128 시각 칩 설계

MOSFET선형저항

단위 픽셀 회로도

전체배치도

주변회로의 집적화

6*64 decoder 설계

6*64 decoder 회로도 decoder layout

움직임 검출 시각 칩 개발움직임 검출 시각 칩 개발[ 시각 칩 ]

윤의식

Frame difference image of the moving hand128x128 Motion chip

VDD

VDD

RESET

RSEL

RSELM

CB

US

StorageCapacitor

Motion chip cell diagram

움직임 검출 시각 칩

연구내용• Motion 검출칩의 Pixel Design

• CMOS technology scaling Some problems appear in pixel design such as high leakage current,

poor spectral response and so on. These result in poor sensitivity of the Imaging sensor.

• Factors of sensitivity (V/lux) Quantum efficiency Conversion gain (V/e-)

• Spectral ResponseSpectral Response • Penetration depth: (absorption coeff.)-1

• Red ~ 5µm

• Violet ~ 100nm

• @Si (300K)

• As technology feature• size scales down• charge collecting• junction is near • surface

n-well

p+STI

n+ p+STI

p-sub

vb

rsel

vdd

resetcbus

Proposed CMOS Pixel Scheme

• Potential difference between p+ and n-well is tied to be constant by source follower. Generated electrons are accumulated in n-well and voltages of p+ and n-well will decrease. This scheme will improve conversion gain.

• Electrons generated nearby both p+/n-well and n-well/p-sub junctions will be accumulated which will improve red response.

• 연구결과

• Conversion gain improvement (factor of 2)• Improved QE• Increased layout area

• Well spacing, well-active overlap

• Low Power consumption• 256x256 array consumes 20mW @ 100nA biasing and

3.3V supply voltage

1 차년도 2001

2 차년도 2002

3 차년도 2003

응용 시스템 응용 시스템

응용 시스템 연구

인간 시각 시스템의 구동 능력 모델링 및 이를 바탕으로한 능동 물체 추적 시스템의 설계

양안시각 HW 구성 및 특징량 추출 연구

시각 인식기술의 휴먼로봇 응용을 위한 인식통합시스템 설계 및 구현

응용 시스템 개발

응용 시스템 보완 / 통합

능동형 물체 추적 시스템 : 인간의 시각 모델에 기반하여 물체를 인지하고 추적하여 적절한 감성을 표현하는 시각 응용 시스템 개발 ( 6 자유도 Head/Eye 시스템)

스테레오시각 응용시스템 : 양안 시각을 이용한 3 차원 정보추출 모듈 개발 및 이를 이용한 착용형 시각 안내 시스템 개발 ( 변위 추정 오차 0.5 pixel 이내 , 맹인 안내 데모)

휴먼 로봇용 인식시스템 : 휴먼로봇에 탑제될 뇌공학 기반 시각인식기술 통합 시스템의 설계 및 구현과 이를 통한 인식기술 응용 ( 가사 및 안내 데모 )

목표 : 뇌 시각 기술에 기반한 응용 시스템 개발


응용 시스템(Application system)





윤곽선검출 칩

움직임검출 칩

능동형물체 추적

능동형물체 추적

스테레오비젼

스테레오비젼

휴먼로봇

휴먼로봇

Saccade &Vergencecontroller

시각 입력

Gray / Edge

특징추출

Color

Motion/Depth

응용 시스템 연구 추진체계

능동형 추적 시스템 제작을 위한

자료조사 및 모델링

인간 양안 시각모델링하드웨어 구성

특징량 추출연구

능동 추적 시스템의 기구부 및 제어기 제작

휴먼로봇응용을 위한 인식통합시스템 연구

변위 추정 기술개발장애물 검출 및 회피

전방 환경식별

휴먼로봇응용을 위한 시각인식 통합

인간 시각 모델에기반한 알고리즘 구현

스테레오 영상처리 모듈개발착용형 하드웨어 시스템 개발

시스템 데모

휴먼로봇응용을 위한 시각 인식 통합 및

인식시스템의 안정화

휴먼로봇용 인공시각 시스템

능동형 추적 응용 시스템[ 응용시스템 ]

정명진

• 연구내용구분 연구개발목표 연구개발내용 및 범위

1 차년도(2001.8 ~ 2

002. 5)

능동 시각 시스템 제작을 위한 자료 조사 및 모델링

- 기존 시스템 성능 향상을 위한 자료 조사- 인간 시각 시스템의 구동 능력 모델링- 모델링된 인간 시각 시스템을 바탕으로한 능동 시각 시스템의 세부 사항 결정 - 3D 그래픽툴을 이용한 움직임 영역 검사

2 차년도(2002.6 ~ 20

03. 5)

능동 시각 시스템의 기구부 및 제어기 제작

- 능동 시각 시스템의 기구부 및 구동부 제작- 능동 시각 시스템의 제어기 제작

3 차년도(2003.6 ~ 20

04. 5)

인간 시각 모델에 기반한 알고리즘 구현

- 인간 시각 모델에 기반한 능동 시각 시스템의 알고리즘 구현- 구현된 알고리즘의 적용

• 연구결과– 인간 시각 시스템의 구조

– 시야의 기능 분담– 분별 시야 : 중심 약 5, 시력 , 색 분별력 , 정보 수용력 우수– 유효 시야 : 좌우 약 15, 상부 8, 잡음 속의 목적 정보 검출– 안정 주시야 : 좌우 약 30~45, 하부 25~40, 상부 20~30 안구 및 두부운동

– 유도 시야 : 좌우 50 , 하부 45 , 상부 40 , 시각 정보 존재와 대략적인 정보 판별 , 인간의 방향 감각에 영향 , 주관적인 공간 좌표계

DelayPulseGen

Gain

Actuatordt+ + + +

+

- + -

Velocity

E

E~

E~

E~

T

Saccade 모션의 모델

목표위치

• 연구결과

– 전체 시스템의 구조– 제어를 위한 소형 경량의 DSP 채용– 모터의 속도 측정을 위한 FPGA : Encoder pulse count

– 위치 및 속도 제어 모드– 1394 시리얼 인터페이스를 이용한 전체 시스템의 간결화

StereoCamera

ActiveHead-Eye

FPGADSP

HostComputer

RS232C

Control Input

CounterValue

Control Command

Encoder

CameraMovement

VisualFeedback

Control Board

스테레오 비젼 응용 시스템[ 응용시스템 ]

권인소

• 연구내용구분 연구개발목표 연구개발내용 및 범위

1 차년도(2001.8 ~ 2

002. 5)

- 하드웨어 구성 - 인간 양안 시각 모델링- 특징량 추출 연구

-스테레오 비젼 시스템 기구부 구성 (2001.8.~2002.2.)- 인간 양안 시각 작용에 대한 기존의 연구 결과 조사 (2001.8.~2002.2)- 인간의 양안 시스템에서 일어나는 양안 변위를 이용한 거리 인지 과정 모델링 (2001.8.~2002.2)- 특징량 연구 및 신경망을 이용한 특징량 추출 알고리즘 개발 (2001.12.~2002.5)

2 차년도(2002.6 ~ 20

03. 5)

- 변위 추정 기술 개발- 장애물 검출 및 회피- 전방 환경 식별

- 신경망을 이용한 대응점 정합 기술 개발- 전방의 장애물 존재 유무 및 회피 경로 결정- 신경망 학습을 통한 전방 환경의 형태를 인식 연구

3 차년도(2003.6 ~ 20

04. 5)

- 스테레오 영상 처리 모듈 개발 - 착용형 하드웨어 (wearable hardware) 시스템 개발

- 개발된 알고리즘의 통합- 범용 스테레오 영상 처리 모듈 개발- 자율 주행 로봇의 주행 실험을 통한 시스템 검증- 개발된 모듈을 이용한 시각 장애자를 위한 착용형 안내 시스템 개발

• 연구결과• 스테레오 영상 capture 를 위한 H/W 구성

• 인간 양안 시각 작용에 대한 기존의 연구 결과두 개의 상반된 이론

• Shape-First Theory :

• Stereopsis-First Theory :

cameras

rail for baseline adjustment and panning

rotator for tilting

rotator for vergence control

Stereo head setup

rail for depth control

post for height control

각각의 camera 에 대해서 개별적으로 panning, tilting 및 개별 vergence control, height 와 depth 조절이 가능 .(5dof/camera, manually controlled)

components-3 rails-2 post-4 rotators-2 cameras

Height조절 가능

Vergence 조절 가능

Tilting 가능

Panning 및 Baseline 조절 가능

x

y

z

Depth 조절 가능

Shape Analysis Stereopsis

Stereopsis Shape Analysis

• 연구결과• 인간의 양안 시스템에서 일어나는 양안 변위를 이용한 거리

인지 과정 모델링• 현재 연구 진행중

• 특징량 연구 및 신경망을 이용한 특징량 추출 알고리즘 개발• 현재 연구 진행중인간 양안 시스템에서 사용되는 특징량 연구

영상에서 정합에 적합한 특징량 정의

상관 관계 연구 신경망 구현 및 정합에 적합한 특징량 학습

신경망을 이용한 입력 영상 내 특징량 추출

정합 과정에서 영상 특징량들의 성능 분석

연구

왼쪽 이미지

오른쪽 이미지

연구중인 특징량

연구중인 특징량정합 양안 변위에 의한

거리 추출

Multi Scale Multi Orientation Multi Feature Matching

휴먼 로봇용 인식 시스템[ 응용시스템 ]

양현승

• 연구내용

- 인식통합시스템에 기반한 인식기술 통합- 통합된 시각인식시스템의 성능향상 및 안정화

휴먼로봇용 인식시스템 통합 및 보완 / 평가

3 차년도(2003.6 ~ 20

04. 5)

- 휴먼로봇 응용을 위한 시각인식통합- 인식통합시스템의 안정화 및 성능개선

휴먼로봇응용을 위한 인식시스템 통합

2 차년도(2002.6 ~ 20

03. 5)

- 뇌공학기반 인식기술의 통합을 위한 연구- 인식기술의 휴먼로봇 응용을 위한 인식통합시스템 설계- 인식통합시스템의 구현

휴먼로봇응용을 위한 인식통합시스템 연구

1 차년도(2001.8 ~ 2

002. 5)

연구개발내용 및 범위연구개발목표구분

– 뇌공학기반 인식기술의 통합을 위한 연구– 뇌공학 기반 인식기술의 휴먼로봇 응용을 위한 구조분석 및 변경

– 실시간 영상에서 신뢰성있는 부분 추출기법 필요– 기존 뇌공학 기반 인식기술의 인식 DB 간소화 및 알고리즘

효율화를 통한 수행시간 최소화 연구 ( 진행중 )

– 인식통합시스템의 설계 및 구현– USB 인터페이스를 이용한 실시간 영상 Capture

– 320x240 24bit RGB 20~30Frame/Sec– 입력된 영상에서 실시간 얼굴 Detection( 진행중 )

– Color Histogram 분석 및 segmentation 을 통한 신뢰성있는 얼굴부분 추출

– 추출된 얼굴 영상에서의 부분특징 추출 ( 눈 ,코 , 입… )– 인식기술 통합을 위한 인터페이스 구성

• 연구결과

휴먼로봇응용을 위한 인식통합시스템 설계 , 구현

휴먼로봇 응용을 위한 시각인식 통합

시각인식 시스템성능향상 및 안정화

• 연구결과

– 인식통합시스템 구조도

•인식통합시스템

얼굴부분추출

입력영상 인식결과부분특징추출

( 눈 ,코 , 입 ,..)

뇌공학 기반 얼굴 인식기술

얼굴 DB

•인식통합시스템

•뇌공학 기반 시각인식

Documents

뇌정보처리 메카니즘에 기반한 인공시각시스템 연구