Realidad Aumentada - Facultad de Cs. de la Computaciónclimate.cs.buap.mx/CondeJC/Cursos/Material/Animacion_/Notas/09... · 2 Factores ecnológicosT ... El ambiente puede ser interior,

Realidad Aumentada

Facultad de Cs. de la Computación

Juan Carlos Conde R.

Computer Animation

Introducción Factores Tecnológicos Dispositivos Interfaces y Sistemas

Contenido

1 Introducción

2 Factores Tecnológicos

3 Dispositivos

4 Interfaces y Sistemas

1 / 53


Contenido

1 Introducción


3 Dispositivos


2 / 53


De la �cción a la realidad

3 / 53


¾Qué es?

4 / 53


¾Qué es?

Def. Se de�ne a la Realidad Aumentada o AR (Augmented Reality) como unavista directa o indirecta, en tiempo real, de un ambiente físico del mundo realque ha sido mejorado o aumentado agregando información virtual generada por

computadora.

5 / 53


Características I

La AR es tanto interactiva como escrita en 3 dimensiones (3D) tal que combinaobjetos reales con objetos virtuales.

Realidad-Virtualidad Continua (Reality-Virtuality Continuum)

De�nida por Paul Milgram y Fumio Kishino como un proceso continuo que seexpande entre un ambiente real y un ambiente virtual comprendidos por laRealidad Aumentada y la Virtualidad Aumentada (AV) respectivamente, dondela AR se encuentra más cercana al mundo REAL y la AV es más cercana a unmundo VIRTUAL puro.

6 / 53


Características II

Así que intenta abarcar todas las posibles variaciones y composiciones de objetosvirtuales y reales.

7 / 53


Objetivos de la Realidad Aumentada

I Mejorar la percepción del usuario y su interacción con el mundo real.

I Simpli�car la vida de los usuarios a través de proporcionar información vir-tual, no sólo del entorno inmediato sino también de cualquier vista indirectadel mundo real, tal como la trasmisión de video en vivo.

I Mientras que la Realidad Virtual (VR) o los Ambientes Virtuales (VE) sonconsiderados por Milgram1 para usuarios completamente inmersos dentrode un mundo sintético sin ser visto como un mundo real, la tecnología dela AR incrementa la sensación de realidad superponiendo objetos virtualesy pistas sobre el mundo real en tiempo real.

1"Taxonomy ofMixed Reality Visual Displays", IEICE Transactions on Information Systems,E77-D(12), pp. 1321-1329, 1994.

8 / 53


¾Cómo experimentar Realidad Aumentada?

9 / 53


Objetivos de la Realidad Aumentada

Nótese que como lo dice el autor Ronald Azuma2...

"No podemos considerar que la Realidad Aumentada está restringida a un tipoparticular de tecnología de pantalla, tal como una pantalla de cabeza o HMD(head-mounted display) no la consideramos limitada sólo al sentido de la visión."

2"Recent Advances in Augmented Reality", IEEE, NovemberDecember 2001

10 / 53


Objetivos de la Realidad Aumentada II

I La AR puede ser aplicada potencialmente a todos los sentidos; olfatoaumentado, tacto y oído también.

I También puede ser utilizada para aumentar o sustituir sentidos perdidos enlos usuarios a través de una sustitución sensorial, tal como:

I Aumentar la visión de usuarios ciegos (pobre visión) usando pistas auditivas.I Aumentar la audición de usuarios sordos utilizando pistas visuales.

Como también lo menciona Azuma, las aplicaciones AR requieren eliminar obje-tos reales del ambiente, objetos comúnmente llamados objetos intermedios o derealidad disminuida para entonces agregar objetos virtuales.

11 / 53


Aplicación

12 / 53


Objetos Virtuales

Los objetos virtuales agregados al entorno real muestran información al usuarioque normalmente no detectaría directamente con sus sentidos.

Esta información enviada por el objeto virtual puede ayudar al usuario a:

I Desempeñar tareas diarias de trabajo

I Cumplir alguna función de entretenimiento

Algunos ejemplos de lo anterior serían: visualizaciones médicas, publicidad,mantenimiento y reparación, apuntes o comentarios, plani�cación de caminos(robótica), etc.

13 / 53


Contenido

1 Introducción


3 Dispositivos


14 / 53


Métodos de Visión por Computadora

La visión por computadora rendereiza objetos 3D virtuales desde el mismo punto

de visión desde el cual las imágenes de una escena real están siendo tomadaspor cámaras.

El registro de la imagen de Realidad Aumentada utiliza diferentes métodos devisión por computadora relacionadas en su mayoría con seguimiento o rastreo devideo (traking).

Estos métodos consisten usualmente de dos etapas:

1. Rastreo

2. Reconstrucción/Reconocimiento

15 / 53


Métodos de Visión por Computadora

Los marcadores de referencia, imágenes ópticas o puntos de interés son detecta-dos por una cámara.

El rastreo puede hacer uso de detección de características, detección de bordes,o métodos para procesar otra imagen con el �n de interpretar las imágenes de lacámara.

En visión por computadora, muchas de las técnicas de rastreo disponibles puedenser separadas en dos clases:

1. basadas en características

2. basadas en modelos

16 / 53


Técnicas de rastreo

1. Los métodos basados en características consisten en descubrir la conexiónentre características de imágenes 2D y sus coordenadas en el mundo 3D.

2. Los métodos basados en modelos hacen uso del modelo basado encaracterísticas del objeto rastreado; tal como modelos CAD o plantillas 2Dde un articulo basado en características distinguibles.

Una vez que se establece la conexión entre la imagen 2D y las coordenadas delmundo 3D, es posible encontrar la pose o postura de la cámara proyectando lascoordenadas 3D de la característica dentro de las coordenadas de la imagen 2Dobservada y minimizando la distancia de sus características 2D correspondientes.

17 / 53


Pose de la cámara

Las restricciones para la estimación de la pose de la cámara son frecuentementedeterminadas usando características de punto.

La etapa de reconstrucción/reconocimiento usa los datos obtenidos de la primeraetapa para reconstruir un sistema de coordenadas del mundo real.

18 / 53


Pose o postura de la cámara

Restricciones para el problema del pose de la cámara adaptado.

19 / 53


Pose o postura de la cámara

I Se asume el uso de una cámara calibrada y un modelo de proyección deperspectiva.

I Se tienen dos sistemas de coordenadas principales: el sistema W decoordenadas del mundo 3D y el sistema de coordenadas de la imagen 2D.

I R y T son las matrices de rotación y traslación respectivamente.

I Sea hi el punto de imagen correspondiente a la proyección de pi parai = 1...n con n ≥ 3 sobre el plano de la imagen normalizada.

I La ecuación de colinealidad establece la relación entre hi y pi , usando unacámara estenopeica, está dada por

hi =1

rT3pi + tz

(R · pi + T ) (1)

20 / 53


Otros métodos importantes

Algunos métodos asumen la presencia de marcadores de referencia en el ambienteu objeto con conocimiento de la geometría 3D.

Otros métodos tiene la estructura de la escena 3D pre-calculada, la técnica deMapeo y Localización Simultanea (SLAM) es utilizada para mapear marcadoresde referencia o posiciones relativas de modelos 3D.

En el caso donde no existen suposiciones acerca de la geométricas 3D de laescena, se utiliza el método de Movimiento a partir de la Estructura (SfM).SfMpuede dividirse en dos partes: seguimiento del punto de función y estimación delparámetro de la cámara.

21 / 53


Factores físicos

En AR dependen en su mayoría del tipo de ambiente, el dispositivo AR seráintroducido así como el tipo de sistema AR.

El ambiente puede ser interior, exterior o una combinación de ambos.

De la misma manera el dispositivo puede ser móvil o estático.

Por ejemplo: si el dispositivo AR es estático y tiene una posición �ja conrespecto a un ambiente exterior real (ver dispositivo de Huang y su grupo deinvestigación),los desarrolladores pueden usar rastreo mecánico dado que losmovimientos a ser rastreados serán todos mecánicos, dado que la posición deldispositivo es conocida.

22 / 53


Aplicación

AR-View: An Augmented Reality Device for Digital Reconstruction ofHistorical Sites

23 / 53


Factores físicos

Este tipo de ambientes y sistemas realizan el rastreo de ambientes para �aumen-tar� los alrededores de una manera sencilla.

Sin embargo, para un dispositivo AR móvil y diseñado para ambientes exteriores,el rastreo llega a ser más difícil y distintas técnicas pueden agregar ventajas odesventajas.

24 / 53


Aplicación

Por ejemplo: Nilsson y su grupo de investigación construyeron un sistema dedetección peatonal para evitar las colisiones de automóviles usando AR. Susistema es móvil y de uso exterior.

Para un movimiento de cámara en un ambiente desconocido, el problema devisión por computadora es reconstruir tanto el movimiento de la cámara comola estructura de la escena usando la imagen y secuencias de datos de sensoresadicionales.

En este caso, dado que no existen suposiciones acerca de la geometría 3D de laescena, debe utilizarse el método SfM para reconstruir la escena.

25 / 53


26 / 53


TAREA:

Investigar en qué consisten los siguiente métodos:

1. SLAM - Simultaneous Localization And Mapping

2. SfM - Structure from Motion

27 / 53


Librerías de rastreo

Muchos desarrolladores también han hecho uso de librerías existentes de AR, talcomo las del ARToolKit.

ARToolKit fue desarrollado en 1999 por Hirokazu Kato del Nara Institute ofScience and Technology y liberado por el laboratorio HIT de la Universidad deWashington.

Se trata de una librería de rastreo que permite al usuario crear aplicaciones derealidad aumentada.

28 / 53



ARToolKit usa las capacidades de rastreo de video para calcular en tiempo realla posición real de la cámara y orientación relativa hacia los marcadores físicos.

Una vez que la posición real de la cámara se conoce, una cámara virtual puedeser colocada en la misma posición exacta y modelos 3D pueden ser dibujadospara cubrir los marcadores.

La versión extendida de ARToolKit es ARToolKitPlus, la cual agrega muchascaracterísticas. Sin embargo, ya no ha sido desarrollada y ahora tiene un sucesor:Studierstube Tracker.

29 / 53



El concepto de Studierstube Tracker es muy similar al de ARToolKitPlus, sinembargo el código base es completamente diferente pero no esta abierto y porlo tanto no está disponible para descargarse.

Características de Studierstube Tracker:

I Soportable por teléfonos móviles (Studierstube ES)

I Bajos requerimientos de memoria (100KB)

I Dos veces más rápido que ARToolKitPlus en teléfonos móviles y al rededorde 1 ms por frame en una PC.

I Es altamente modular y por lo tanto actualizable.

30 / 53



Aunque el seguimiento visual ahora corresponde a la habilidad de reconocer yseguir muchas cosas, se basa en su mayoría en otras técnicas tales como GPSs(Global Positioning System) y acelerómetros (sensores de aceleración).

Por ejemplo, para una computadora es muy difícil detectar y reconocer un auto;super�cies lisas y brillosas generan puntos característicos que se producen de lasre�exiones, por lo tanto son inservibles para estimar la pose e incluso algunasveces el reconocimiento.

Aunque este ejemplo es un poco extremo, demuestra las di�cultades y retos alos que se enfrenta la visión por computadora con la mayoría de los objetos quepresentan formas irregulares como comida, �ores, y muchos objetos artísticos.

31 / 53


Avances

Un enfoque reciente en rastreo visual a sido el estudio de como el cerebro humanoreconoce objetos, también llamado el Sistema de Visión Humana (HVS - HumanVision System).

32 / 53


Avances

Para los humanos es posible reconocer un in�nito número de cosas y personasen fracciones de segundo.

Si la forma en que el cerebro humano puede ser modelada, la visión por com-putadora será capas de manejar los retos a los que actualmente se enfrenta yseguir generando avances importantes.

33 / 53


Contenido

1 Introducción


3 Dispositivos


34 / 53


Principales dispositivos

Los principales dispositivos usados en Realidad Aumentada son:

1. Pantallas

2. Dispositivos de entrada

3. Dispositivos para rastreo

4. Computadoras

35 / 53


Tipos de Pantalla

Existen tres tipos de pantallas usadas en Realidad Aumentada:

1. Pantallas Montadas en Cabeza (HMD)

2. Pantallas de mano

3. Pantallas espaciales

36 / 53


Pantalla montada en cabeza

Pueden ser tanto de la clase �ver-a través-de video� (video-see-through) o �ver-através-de óptica� (optical see-through) y puede tener una pantalla óptica monoc-ular o binocular.

La diferencia de resolución entre una y otra se re�eja en qué tan naturalmentepuede percibirse la escena y el mundo real.

37 / 53


Pantalla montada en cabeza

Nótese que en aplicaciones �ver-a través-de video�, la visión aumentada es yade por si compuesta por la computadora y permite mucho más control sobre elresultado.

Por el contrario en las aplicaciones �ver-a través-de óptica� la visión del mundoreal no puede ser retrasada, por lo que el lag time introducido por el sistema porlos grá�cos y el procesamiento de imágenes es más percibido por el usuario

Este tipo de problemas resultan en que los objetos virtuales no parezcan "ligados"con los objetos reales con los que se supone deben corresponderse, estos luceninestables, temblorosos, o parecen estar �nadando�.

38 / 53


Pantalla de mano

Las pantallas de mano emplean pequeños dispositivos de cómputo con una pan-talla que el usuario puede sostener en sus manos.

39 / 53


Pantalla de mano

Este dispositivo usa la técnica de "ver-a través-de video" para sobre poner grá-�cos en un ambiente real.

Emplea sensores, tales como brújulas digitales y unidades GPS para sus sensoresde rastreo de seis grados de libertad.

Además emplea:

I Un sistema de marcadores de referencia, como ARToolKit

I Métodos de visión por computadora, como SLAM.

40 / 53


Pantalla de mano

Actualmente existen tres clases distintas de pantallas de mano comercialmentedisponibles:

1. PDAs

2. Smart-phones

3. Tablets

Los 3 dispositivos comparten características tecnológicas que similares como eluso de cámara, un procesador poderoso, GPS, acelerometro, etc.

Sin embargo, el tamaño de la pantalla y los bajos costos, hacen de las Tabletsla opción más poderosa para aplicaciones de realidad aumentada.

41 / 53


Pantalla espacial

La Realidad Aumentada Espacial (SAR) hace uso de proyectores de video, ele-mentos ópticos, hologramas, etiquetas de radio frecuencia y otras tecnologías deseguimiento para mostrar información grá�ca directamente sobre objetos físicos.

42 / 53


Pantalla espacial

Las pantallas espaciales separan la mayor parte de la tecnología del usuario y laintegra dentro del ambiente.

Esto permite a la SAR escalarse naturalmente a grupos de usuarios, con lo quepermite colaboración entre usuarios, incrementar el interés en AR en universi-dades, laboratorios, museos y la comunidad artística.

Existen tres diferentes enfoques para SAR:

1. ver-a través-de video

2. ver-a través-de óptica

3. "aumentación" directa

43 / 53


Combinadores de óptica espacial

Los combinadores de óptica espacial, tales como divisores de haz de espejo planosy curvos, pantallas transparentes, u hologramas ópticos son esenciales de estetipo de pantallas.

Finalmente, las pantallas espaciales basadas en proyectores aplican proyeccionesfrontales para generar imágenes directamente sobre objetos o super�cies físicassin problema.

44 / 53


Dispositivos de entrada

Existe una gran variedad de dispositivos de entrada para sistemas AR, tales como:

I Guantes electrónicos - Reitmayr

I Pulsera wireless - ReachMedia

I Varias características y aplicaciones de los smart-phones actuales

Los dispositivos de entrada se eligen a dependiendo del tipo de aplicación que seestá desarrollando o de la pantalla que se utilizará como salida.

45 / 53


Dispositivos de rastreo

Consisten en cámaras digitales y/u otro tipo de sensores ópticos, GPS, aceleóomet-ros, brújulas de estado sólido, sensores wireless, etc.

Cada uno de estas tecnologías tienen diferente nivel de precisión, dependiendoen gran medida del tipo de sistema que está siendo desarrollado.

Tecnología de rastreo

Conceptos tecnológicos: mecánica, sensores magnéticos, GPS, ultrasónico,inercia y óptica.

Puntos de comparación: rango de visión, con�guración, resolución, tiempo yambiente.

46 / 53


Computadoras

Los sistemas AR requieren CPU poderosos y una cantidad considerable de RAMpara procesar imágenes desde la cámara.

Nótese que para el cómputo móvil se emplea una "con�guración de viaje", sinembargo para dispositivos más especí�cos, como smart-phones e iPad, dichacon�guración es reemplazada por sistemas de visión más so�sticados y ligeros.

Los sistemas �jos pueden usar computadoras normales si se cuenta con una buenatarjeta de video.

47 / 53


Contenido

1 Introducción


3 Dispositivos


48 / 53


Interfaces

Uno de los aspectos más importantes de la AR son las técnicas para crear inter-acciones cada vez más intuitivas entre el usuario y el contenido virtual.

Hay cuatro formas principales de interacción con aplicaciones de AR:

1. Interfaces AR tangibles

2. Interfaces AR colaborativas

3. Interfaces AR híbridas

4. Interfaces AR multimodales

49 / 53


Interfaces

Interfaces AR tangibles. Soportan interacción directa con el mundo real, a travésde su exploración. Por ejemplo la aplicación VOMAR desarrollada por Kato.

Interfaces AR colaborativas. Incluyen el uso de múltiples pantallas para so-portar actividades remotas y co-ubicadas. La compartición de ubicación utilizainterfaces 3D para mejorar el espacio de trabajo colaborativo y así mejorar, porejemplo, video-conferencias. Por ejemplo, Studierstube.

Interfaces AR híbridas. Combinan una variedad de distintas, pero complemen-tarias, interfaces así como la posibilidad de interactuar con una amplia gama dedispositivos.

50 / 53


Interfaces

Interfaces AR multimodales. Combinan objetos de entrada reales con formasnaturales del lenguaje como habla, contacto, gestos con las manos, o miradas.Este tipo de interfaces han emergido �recientemente�. Por ejemplo, el SextoSentido del MIT que proporciona una interfaz usable con las manos llamadaWUW.

Esta libertad para elegir dentro de una amplia gama de opciones el modo deinteracción es crucial para obtener una aceptación más amplía de estos sistemasen lugares públicos.

51 / 53


Sistemas

Una vez analizado lo anterior, sólo resta de�nir que los sistemas de AR se dividenen cinco categorías:

1. Sistemas �jos para interiores

2. Sistemas �jos para exteriores

3. Sistemas móviles para interiores

4. Sistemas móviles para exteriores

5. Sistemas móviles para interiores y exteriores.

Cada uno combina varias de las características, ventajas y desventajas de lospuntos discutidos durante esta presentación.

52 / 53


�El medio mas fácil para ser engañado es sentirse máslisto que los demás.�

Juan Carlos Conde [email protected]

53 / 53

Documents

Realidad Aumentada - Facultad de Cs. de la Computaciónclimate.cs.buap.mx/CondeJC/Cursos/Material/Animacion_/Notas/09... · 2 Factores ecnológicosT ... El ambiente puede ser interior,