UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA
João Manuel R. S. Tavares
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 2
Introdução
A obtenção de informação 3D é essencial em muitas aplicações de Visão Computacional:
• Reconstrução 3D de cenas e objectos: prototipagem rápida, actores e objectos virtuais, reconstrução facial, levantamento de peças esculpidas;
• Seguimento do movimento 3D de objectos: sistemas de navegação e identificação;
• etc.
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 3
Introdução
Em Visão Computacional existem várias técnicas para obter informação 3D:
• Passivas: Não envolvem a projecção de energia.• Activas: Envolvem a projecção de energia ou
movimento relativo.
Técnicas de Aquisição 3D sem Contacto
Passivas
Activas
Estereoscopia Passiva
Imagens Monoculares de Intensidade
Moiré
Detecção de Ecos
Estereoscopia Activa
Padrão Binário
Padrão Codificado Cor
Padrão Codificado Sinusoidal
Etiquetagem Espacial
Modelação Temporal
Projecção de Energia
Movimento Relativo
Focagem
Geometria Conhecida
Perspectiva
Sombreado
Contorno
Textura
Ocultação
Variação da Distancia Focal
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 4
Introdução
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Neste trabalho é usada uma metodologia para obter informação 3D de uma cena ou objecto a partir do movimento de uma câmara.
Pressupostos:• Considera-se a cena ou o objecto como constituídos
por segmentos de recta.• O movimento da câmara é perfeitamente conhecido
(posição e orientação relativamente a um referencial mundo).
• Não são medidas as velocidades nem as acelerações das entidades.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 5
Metodologia Usada
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
A metodologia usada neste trabalho consiste nas seguintes etapas:
1. Calibração da câmara usada;
2. Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência;
3. Simplificação das entidades presentes em cada imagem;
4. Seguimento 2D das entidades consideradas ao longo da sequência de imagens;
5. Obtenção de informação tridimensional dos pontos que constituem cada entidade.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 6
Determinação esimplificação das entidades
Seguimento de linhas eaproximação poligonal
Fusão de entidades próximase de direcções similares
Detecção de edges
Seguimento de linhas eaproximação poligonal
Fusão de entidades próximase de direcções similares
Detecção de edges
Metodologia UsadaMundo 3D
......
Hardware deaquisição de imagem
Hardware deaquisição de imagem
Calibração
Seguimento 2D
Emparelhamento Modelo 2D
Parametrizaçãodas entidades
Parametrizaçãodas entidades
Imagem k+1Imagem k
Determinação das coordenadas3D das entidades
Mundo 3D
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 7
Calibração
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
A calibração de uma câmara é a determinação da relação matemática que transforma pontos 3D em pontos 2D:
Procedimento:1. Determinação das coordenadas 2D na memória frame
dos pontos de calibração;
2. Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração;
3. Calibração da câmara e do respectivo hardware.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 8
Calibração
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Determinação das coordenadas 2D na memoria frame:
1. Determinação das orlas de intensidade;
2. Seguimento das orlas;
3. Regressão linear das orlas seguidas;
4. Determinação dos pontos de calibração.
Imagemoriginal
Orlas Rectas obtidas por regressãoPontos de calibração determinados
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 9
Calibração
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Calibração realizada usando pontos coplanares e um método baseado no proposto por Lenz e Tsai:
1. Determinação do factor de incerteza horizontal;
2. Determinação das coordenadas do centro da imagem na memória frame;
3. Determinação dos restantes parâmetros de calibração: pose - matriz de rotação 3D e vector de translação 3D, parâmetros internos - distância focal e factor de distorção.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 10
Entidades
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Determinação dos segmentos de recta:1. Sujeitar cada imagem da sequência a um detector de
orlas de intensidade de forma a classificar cada pixel em termos de amplitude e de direcção;
2. Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas;
3. Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida.
Imagem original Após aproximação Após aproximação mais “larga”
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 11
Entidades
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Simplificação dos segmentos de recta:• Em cada imagem da sequência, segmentos de recta
próximos e de características semelhantes são fundidos.
• Vantagens: O seguimento torna-se mais fácil e menos dispendioso em termos de recursos computacionais.
Segmentos originais
Após fusão Após fusãomais “larga”
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 12
Seguimento
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Etapas da abordagem utilizada:1. Parametrização das entidades a seguir: coordenadas
do ponto médio, direcção e comprimento;
2. Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial: três filtros de Kalman independentes;
3. Emparelhamento das entidades entre duas imagens sucessivas: distância normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento);
4. Actualização e gestão de um modelo 2D de entidades.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 13
Triangulação
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Abordagem usada para obtenção da informação 3D:1. Resolução do sistema de projecção estéreo para obter
as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas (triangulação);
2. Determinação de uma aproximação da profundidade dos restantes pontos utilizando interpolação linear das profundidades dos pontos extremos.
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 14
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Oito imagens de um cubo obtidas por rotação de uma câmara calibrada usando o método adoptado:
2ª imagem Entidades determinadas
Entidades simplificadas Entidades na sequência
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 15
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Sequência original Orlas determinadas
Rectas determinadas
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 16
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Entidades consideradas
Seguimento obtido
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 17
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Entidades detectadas na 1ª imagem da sequência
imagem 1ª 2ª 3ª 4ª Ref TEm TEm TEm TEm
1 I KRG KM KM 2 I F F F
3 I F F F 4 I KRG KM KM 5 I F F F 6 I F KRG KM 7 I KRG KM KM imagem 5ª 6ª 7ª 8ª Ref TEm TEm TEm TEm 1 KM KM KM KM 2 F KM KM KM 3 KRG KRG KRG KRG 4 KRG KM KM KM 5 KRG KM KM KM 6 KRG KM KM KM 7 KRG KM KM KM
Legenda:
Ref - Referência, TEm - Tipo de emparelhamento: I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F - falhado.
Processo de seguimento Profundidade obtida
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 18
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Sequência original Orlas determinadas
16 imagens de um cubo obtidas por translação da câmara previamente calibrada:
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 19
Resultados
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
Entidades consideradasRectas determinadas
Seguimento obtido
Uma Abordagem para a Obtenção de Informação 3D a partir de Movimento de Câmara - João Manuel R. S. Tavares 20
Conclusões
IntroduçãoIntrodução
MetodologiaMetodologia
CalibraçãoCalibração
EntidadesEntidades
SeguimentoSeguimento
TriangulaçãoTriangulação
ResultadosResultados
ConclusõesConclusões
• Foi apresentada uma abordagem para a obtenção de informação 3D de uma cena ou objecto, considerados como constituídos por segmentos de recta, a partir do movimento de uma câmara.
• A referida abordagem é constituída pelas etapas: 1) calibração da câmara e respectivo hardware; 2) determinação das entidades; 3) simplificação das entidades; 4) seguimento das entidades ao longo da sequência; 5) obtenção das coordenadas 3D das entidades emparelhadas.
• Alguns resultados experimentais obtidos foram apresentados e é possível verificar que a abordagem adoptada revela-se flexível e robusta.
UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA
João Manuel R. S. Tavares