Click here to load reader

Visão Computacional Visão Estéreo lmarcos/courses/visao

  • View
    119

  • Download
    9

Embed Size (px)

Text of Visão Computacional Visão Estéreo lmarcos/courses/visao

  • Slide 1
  • Viso Computacional Viso Estreo http://www.dca.ufrn.br/~lmarcos/courses/visao
  • Slide 2
  • Shape from stereo Duas ou mais imagens da mesma cena Tomadas de pontos de vista diferentes Percepo da 3a dimenso Inverso de projeo por triangulao determinando a 3a dimenso
  • Slide 3
  • Estreo x Motion
  • Slide 4
  • Random Dot Stereograms http://www.nottingham.ac.uk/~etzpc/sirds.h tmlhttp://www.nottingham.ac.uk/~etzpc/sirds.h tml http://www.nottingham.ac.uk/~etzpc/sirds.h tmlhttp://www.nottingham.ac.uk/~etzpc/sirds.h tml
  • Slide 5
  • Slide 6
  • Slide 7
  • Slide 8
  • Slide 9
  • Slide 10
  • Slide 11
  • Slide 12
  • Slide 13
  • Slide 14
  • Princpio bsico da reconstruo estreo (tringulos)
  • Slide 15
  • Projeo (transformaes) Objetos guardam relaes com mundo real Rotao, translao e escala Determinar pontos correspondentes nas imagens usando estas restries Tendo as cmeras calibradas em relao ao sistema de mundo, sabendo-se a distncia entre as cmeras, pode-se determinar o tringulo e a 3a dimenso
  • Slide 16
  • Modelo estreo y P(x,y, z) (x l,y l ) x r,x r xOb f f (0,0,0)(b,0,0)
  • Slide 17
  • Premissas (x,y,z) = coordenadas de um ponto no espao Origem imagem esquerda (x l, y l ) em (0, 0, f) Ponto focal esquerdo em (0, 0, 0) Imagem direita (x r, y r ) com origem em (b, 0, f) Ponto focal esquerdo em (0,0,0), direito em (b,0,0) b = linha de base f = distncia focal (dos centros ticos aos planos imagens)
  • Slide 18
  • Projetando no plano xlxl xrxr f b x z x-b x fx z l x fxb z r x z xb z xrxr f xlxl f
  • Slide 19
  • Deslocamento em y=0 yy fy z lr ylyl y (x,y,z) yryr xlxl xrxr x Ob Figura 2.1 - Modelo estreo b f y z yryr f ylyl f f
  • Slide 20
  • Disparidade estreo Manipulando as equaes: Definindo d = x l - x r Substituindo z nas equaes e achamos finalmente e fx z fxb z x l - x r = - = fx z - z fb z + z = x fx z l y fy z l
  • Slide 21
  • Generalizando (movendo origem) (0,0,0)(d,0,0) (-d,0,0)
  • Slide 22
  • Calculando a disparidade b d
  • Slide 23
  • Observaes z inversamente proporcional a d z diretamente proporcional a b fixado um erro na determinao de d: preciso na determinao de z cresce de forma direta com b. com o crescimento de b, imagens tendem a ser muito diferentes uma da outra ponto visvel numa imagem pode no ser noutra, mesmo com vergncia
  • Slide 24
  • Mais observaes d proporcional distncia focal f medida que f aumenta, imagens tambm aumenta a distncia do ponto projetado nas imagens ao centro destas e em conseqncia a disparidade no modelo ideal: pontos prximos disparidade grande pontos longe disparidade pequena ponto no infinito disparidade zero
  • Slide 25
  • Observaes Modelo com vergncia: Pontos no horpter: disparidade zero Pontos mais prximos que o horpter: dispariade positiva Pontos mais longe que o horpter: disparidade negativa Bom sinal, daria para manter um rob a uma certa distncia de uma pessoa usando apenas disparidade
  • Slide 26
  • Determinando altura dos pontos Para pequenos valores de h (terrenos planos):
  • Slide 27
  • Restrio epipolar Verifica-se no sistema ideal apresentado que as imagem y l e y r so a mesma e definem uma reta paralela ao eixo x denominada linha epipolar Se os eixos ticos das cmeras so no paralelos, projees de um ponto objeto localizam-se nas linhas epipolares dadas pela interseo entre cada plano imagem e o plano formado pelos dois centros ticos mais o ponto objeto considerado
  • Slide 28
  • Restrio epipolar
  • Slide 29
  • Supondo a orientao relativa entre os dois sistemas conhecida (visto a seguir) A projeo de um ponto (x l, y l ) na imagem esquerda um raio que passa pela origem As coordenadas de um ponto qualquer situado neste raio, referenciadas ao sistema esquerdo podem ser expressas por:
  • Slide 30
  • Restrio epipolar No sistema direito, as coordenadas desse mesmo ponto no raio projetivo correspondente so:
  • Slide 31
  • Restrio epipolar Assumindo que a distncia focal nos dois sistemas a mesma, as seguintes equaes de projeo podem ser estabelecidas para o sistema direito:
  • Slide 32
  • Restrio epipolar Usando as abreviaes temos as equaes anteriores dadas por que representam uma reta passando pelo ponto (u/w, v/w), quando s = 0, e por (a/c, b/c), quando s =.
  • Slide 33
  • Restrio epipolar O primeiro destes pontos a imagem do ponto nodal (focal) da cmera esquerda no plano da imagem direita e o segundo a imagem do ponto acima considerado tambm na imagem direita.
  • Slide 34
  • Restrio epipolar
  • Slide 35
  • Generalidades Considere o raio descrito por um ponto P, o centro S l do sistema esquerdo e a imagem P l do ponto (esto alinhados). Se tomarmos um raio D r paralelo a este, que passe pelo centro do sistema direito, a imagem deste raio na imagem direita e a imagem do ponto nodal da cmera esquerda na imagem direita definiro uma reta coincidente com a primeira linha epipolar, descrita antes.
  • Slide 36
  • Viso Computacional Viso Estreo http://www.dca.ufrn.br/~lmarcos/courses/visao
  • Slide 37
  • Profundidade da disparidade e ngulos de vergncia
  • Slide 38
  • Vergncia
  • Slide 39
  • Slide 40
  • Orientao relativa
  • Slide 41
  • Orientao Relativa Restabelecer as posies relativas que uma cmera tinha em relao outra, no momento de tomada das imagens No importa os pontos de mundo, apenas de imagem.
  • Slide 42
  • Orientao relativa Achar R, de modo que: Sendo que
  • Slide 43
  • Orientao relativa Ento, dados n pontos com coordenadas nas imagens conhecidas, devemos montar um sistema de equaes para achar R 9 incgnitas para R 3 incgnitas para T Total de 12 incgnitas (ou graus de liberdade)
  • Slide 44
  • Orientao relativa 3 equaes (restries normalidade de R) + 1 equao (restrio de ortogonalidade de R) 4 pontos correspondentes no sistema de cmera Total de 12 restries seria OK? Problema de escala
  • Slide 45
  • Orientao relativa Mnimo de 5 pontos = 5x2 = 10 10 + 4 = 14 > 13 1 incgnita para S ylyl y P(x,y,z) yryr xlxl xrxr xOb Figura 2.1 - Modelo estreo ylyl y P( x, y, z) yryr xlxl xrxr xOb Figura 2.1 - Modelo estreo
  • Slide 46
  • Soluo 5 pontos com coordenadas de imagem conhecidas (no coplanares) em ambas as imagens
  • Slide 47
  • Orientao absoluta (exterior)
  • Slide 48
  • Orientao absoluta Colocar o par (orientado relativamente) em escala em relao ao mundo. Dada a disparidade de um ponto, determinar a coordenada 3D deste. O sistema completo fica orientado em relao ao frame de mundo.
  • Slide 49
  • Orientao absoluta (exterior) Com 4 pontos no co-planares 16 equaes e 16 incgnitas
  • Slide 50
  • Orientao absoluta
  • Slide 51
  • Algoritmos estreos 1) Extrao de feies ou caractersticas das imagens; 2) Estabelecimento de correspondncia (matching) entre as feies extradas; 3) Reconstruo tridimensional.
  • Slide 52
  • Matching Podemos pensar, a princpio, em determinar detalhes que sejam inconfundveis nas imagens, tais como contornos de objetos, certos ngulos, linhas, etc, em uma imagem e tentar sua localizao na outra Usar as diferenas de tons de cinza entre pixels vizinhos (textura) e tentar estabelecer a correspondncia.
  • Slide 53
  • Corresp. estreo (matching) estereogramas de pontos randmicos evidncias da fase de correspondncias correlao de reas ou de features (elementos) as imagens so pr-filtradas (eliminar altas freqncias e realce de caractersticas) Ideal: correspondnca para todos os pixels nas imagens (na prtica impossvel).
  • Slide 54
  • Problemas - rudos - erros Valores da luminncia dos pixels correspondentes podem ser diferentes. Diferenas na quantizao da luminncia Caractersticas dos sistemas de aquisio Diferentes pontos de vista (diferentes ngulos) Distores ocorridas no processo de aquisio M localizao dos elementos Rudos. Ocultao de um elemento numa imagem.
  • Slide 55
  • Mtodos de matching Matching baseado em reas (completo) correlaco entre janelas minimizao de erros relaxao Matching baseado em elementos (esparso) encontrar elementos correlao entre elementos (esparso)
  • Slide 56
  • Pr-processamento Reduo de rudos Realce de elementos (arestas, cantos, textura) Normalizao (em torno da mdia) Outras atenuaes ou facilitaes (wavelets, multi-resoluo, segmentao)
  • Slide 57
  • Pr-processamento (filtragem)
  • Slide 58
  • Correlao Dada uma janela numa imagem, encontrar uma janela na outra imagem cujos pixels sejam o mais similar possvel aos pixels da primeira janela
  • Slide 59
  • Correlao Determinar mnimo em: ou determinar mximo em:
  • Slide 60
  • Correla

Search related