INSTITUTO POLITÉCNICO NACIONALESIME UA

DISEÑO DE UN DISPOSITIVO HÁPTICO PARA EL MODELADO VIRTUAL

ALUMNOSCobos Reyes María AlejandraFlores Palmeros Pedro

FernandoGudiño Sánchez JesúsPelayo Moreno Brenda Ivone

Instructores: M en C. Fidencio Burgos Zazueta Dr. Ricardo Gustavo Rodríguez CañizoDr. Emmanuel Merchán Cruz

ASESORESIng. Vázquez Cianca IsraelM en C. Martínez García Abraham

DEFINICIÓN DE HÁPTICA

La háptica se refiere a la modalidad de tocar y asociar sensorialmente la retroalimentación de fuerzas.

CAMPOS DE APLICACIÓN

Simulación de cirugía Modelado virtual Exploración Colaboración háptica

http://www.ubergizmo.com/es/2008/06/robots/mano_robotica_capaz_de_sentir_objetos_cercanos/

SIMULACIÓN DE CIRUGÍA Y ENTRENAMIENTO MÉDICO

Es una de las principales aplicaciones de los dispositivos hápticos.El Rutgers Master II es un dispositivo háptico de entrenamiento médico para substraer tumores del hígado. Cuando el usuario toca los tumores percibe una sensación muy cercana a la real y el display muestra los tejidos correspondientes así como la deformación producida al palparlos.

Rutgers Master II

http://lims.mech.northwestern.edu/projects/finger_exo/

En el Robotics Institute at Carnegie Mellon, el PHANToM de 2 grados de libertad se emplea para la simulación de cirugías. Este dispositivo genera un momento medido sobre la punta de una herramienta quirúrgica, permitiendo capacitación real para los inexpertos residentes.Avilés & Ranta de Novint Technologies desarrollaron un simulador de entrenamiento de realidad virtual en sistemas dentales, empleando un dispositivo háptico PHANToM con 4 puntas que imitan los instrumentos dentales. El dispositivo háptico puede ser usado para explorar materiales simulados como el esmalte y la dentina.

PHANToM http://www.sensable.com/industries-medical-dental.htm

MODELADO VIRTUALCon el modelado virtual se puede crear piezas de formas complejas. Estas piezas se dificultan en CAD debido a que no se logra obtener las 3 dimensiones y también se requieren los prototipos hasta llegar a la generación del molde para comenzar a producir, esto reduce significativamente tiempo, esfuerzos y reducción de costos. PHANToM realizando modelado

virtual

http://www.sensable.com/industries-design-model.htm

PINTANDO, ESCULPIENDO Y CAD CON HÁPTICA

Diseñadores de ensambles complejos generalmente crean prototipos físicos para evaluar la interacción entre las partes y la funcionalidad de éstas dentro del ensamble. Para evitar este tiempo consumido en estas actividades y además el costo que genera, está la alternativa de hacerlo de modo virtual utilizando dispositivos hápticos con simulaciones muy apegadas a la realidad e interfaces para hacer el sistema inmersivo.

EXPLORACIÓN EN MUSEOS

La exploración virtual es otra aplicación que le podemos dar a la háptica, como lo que se ha implementado en museos que desean estar a la vanguardia tecnológica.Algunos museos están utilizando diferentes métodos para digitalización en 3D de algunas obras y objetos de la colección del museo.

Las interfaces hápticas permiten una apreciación completa del objeto sin poner en riesgo la pieza y siguiendo las nomas de seguridad para resguardar la integridad de la pieza, dando una pauta para que el público y la pueda explorar y manipular. Háptica mejora la calidad del museo ya que no solo ofrece al visitante la oportunidad de observar y manipular, sino también interactuar de manera remota en tiempo real.

SISTEMA DE INTERFAZ HUMANA

El Sistema de Interfaz Humana (HSI, por sus siglas en inglés), es utilizado para la exploración y manipulación de objetos dentro de un espacio virtual con percepción de gran fidelidad. En un acercamiento al operador humano recibirá retroalimentación visual, auditivo kinestésia, (un campo de la háptica que trata con dispositivos que interactúan con músculos y tendones y proporcionan al operador humano la sensación de que se aplica una fuerza en un mundo virtual) usando HSI.

Sistema de interfaz humana (Kron, 2000)

ELEMENTOS PARA REALIZAR UNA REPRESENTACIÓN HÁPTICA

Para realizar una representación háptica se cuenta con diversos elementos que se deben tener muy en cuenta los cuales son:

Visualización, Adquisición de datos modelados, Fuerzas de retroalimentación, Captura, almacenamiento y recuperación

de datos hápticos Comprensión de datos hápticos.

VISUALIZACIÓNLa háptica también se ha ido incorporando y no solo incorporando sino mejorando en el aspecto de la visualización. En 1998 un grupo de científicos interfazaron el PHANToM a través del SCIR un que es un sistema que ayuda a resolver problemas en ambientes virtuales para modelado, simulación y visualización científica. Ambos sistemas estaban controlados por el sistema del PHANToM para realizar el rende y obtener datos de volúmenes. Sistemas similares han existido para el desarrollo e implementación para algunas aplicaciones como “The Haptic Workbench”

Investigadores de la Universidad del Este de Virginia aplicaron la háptica para adiestramiento de la movilidad. Ellos diseñaron una aplicación en la cual una ciudad y sus edificios pueden ser explorados a través del PHANToM, utilizando modelos de los edificios creados en CANOMA (éste es un software para Mac/Win, que permite la creación de modelos fotos realísticas en tres dimensiones a partir de una o más fotografías). Dentro de las simulaciones Interactivas en San Diego, algunos investigadores han implementado sistemas hápticos orientados hacia la bioquímica, crearon un programa para analizar estructuras moleculares tanto químicas como biológicas, lo que permite un análisis más profundo y atractivo, esto a través de una plataforma de pruebas.

ADQUISICIÓN DE DATOS MODELADOSEn la actualidad, existen diferentes cámaras y sistemas de cámaras que nos ayudan a digitalizar a través de los modelos de los objetos, ejemplos de estos sistemas está el ColorScan and the Virtuoso shape cámaras. La textura de la superficie de un objeto puede ser mapeada con miles de pequeños polígonos, la textura puede ser construida a través de la información de una imagen en dos dimensiones. Primero se tiene que cambiar la imagen a escala de grises, luego agrandarla y dependiendo algunos factores como el brillo y la distribución de los diferentes patrones existentes en la figura se puede llegar a la textura analizando los cambios de los parámetros antes mencionados.

La textura de la superficie debe ser representada para una aplicación de háptica a través de técnicas con la perturbación de la fuerza, donde la dirección y magnitud del vector de fuerza es alterada utilizando el gradiente local, dependiendo de la textura del material, con el fin de poder simular los diferentes efectos como la rugosidad. Algunas texturas sintéticas como la madera, lijas y limas, adoquines, caucho y algunos otros plásticos deben ser creados por funciones matemáticas especiales para determinar la altura y otros parámetros importantes de la textura.

En algunas aplicaciones de háptica, es deseable tener la habilidad y capacidad de explorar y manipular objetos deformables y cuerpos rígidos. Un área del IMSC está investigando estas posibilidades desarrollando sistemas controlados de visión para aplicaciones de robótica, como adquisición de imágenes para modelados 3D.Hay dos tópicos de suma importancia en el desarrollo de estos sistemas para aplicaciones de robótica y son el desarrollo de algoritmos para controladores de auto-calibraciones, y el uso de una sola cámara para el sistema de retroalimentación y control de la adquisición de imágenes. Se pueden utilizar imágenes de un objeto tomados desde diferentes puntos de vista para construir el modelo 3D del objeto para ser utilizado en la háptica,

CAPTURA, ALMACENAMIENTO Y RECUPERACIÓN DE DATOS HÁPTICOS

Una de las áreas más recientes en la háptica es la investigación de métodos óptimos para la descripción, almacenamiento y recuperación de datos de sensores de movimiento generado por dispositivos hápticos. Con esas técnicas podemos capturar el movimiento de la mano o el dedo de un amaestramiento diestro, así que un novato puede repetir el camino de los expertos, con sensación real de contacto. Se puede calcular la correlación entre los dos caminos exploratorios al tiempo que se determina si las series son significativamente diferentes lo cual indicaría una necesidad de capacitación distante.

El sistema INSITE es capaz de proveer comparaciones instantáneas de dos usuarios con respecto a la duración, velocidad, aceleración y la fuerza del pulgar y los otros dedos. Técnicas para grabar y reproducir datos hápticos han sido desarrollados para el PHANToM y el CiberGrasp. La captura de datos incluye movimientos en 3 dimensiones, orientación y fuerza.

CiberGrasphttp://www.souvr.com/Shop/200803/47.html

COMPRENSIÓN DE DATOS HÁPTICOSLa comprensión y evaluación de datos hápticos del impacto perceptual de pérdida de comprensión de datos hápticos se aleja de ejemplos de áreas desconocidas en investigaciones hápticas. Los datos sobre la interacción del usuario con objetos en el ambiente virtual deben ser continuamente actualizados si son manipulados o deformados por una entrada. Si los datos son muy voluminosos relativo a la disponibilidad de ancho de banda y los recursos computacionales, habrá registro inapropiado de lo que el usuario ve en la pantalla y lo que siente. Uno de los dos métodos para comprender los datos puede ser empleando: una aproximación usando un rango de muestra mas bajo; la otra es tomar en cuenta los pequeños cambios durante el movimiento. Para los casos donde el usuario emplee los dispositivos hápticos para manipular un objeto estático, las técnicas de comprensión que dependen del conocimiento del objeto puede ser más útil la codificación de una trayectoria arbitraria en un espacio tridimensional.

FUERZA DE RETROALIMENTACIÓNDos requerimientos controlan la fuerza de retroalimentación estudiada en háptica: interpretación de alta fidelidad y estabilidad. Resulta que estas 2 metas son iguales porque la alta fidelidad háptica traduce generalmente llamadas para alta fuerza de retroalimentación adquirida que a menudo permite auto inducción oscilaciones y estabilidad.

Inspirado en redes eléctricas, Adams y Hannaford (1999) consideran la interface háptica como un sistema de 2 puertos terminado en un lado del operador y en el otro lado el ambiente virtual. La energía intercambiada entre el operador y la interface háptica es caracterizada por una fuerza (Fh) y una velocidad (vh), mientras que el intercambio entre la interface y el ambiente virtual es caracterizado por una fuerza (Fe) y una velocidad (ve). Para interpretación ideal, la interface háptica podría ser transparente, pero los requerimientos de estabilidad generalmente fuerzan el diseño de la interface háptica para introducir alguna deformación háptica.

Marco de dos puertos para interfaces hápticas

Generalmente se asume que el operador interactúa con la interface háptica de manera pasiva en la sensación él o ella no introduce energía en el sistema.La mayoría de los ambientes mecánicos virtuales también son pasivos la estabilidad de todo el sistema puede ser garantizado por el simple diseño de la interface para ser pasivo. Sin embargo el tiempo de muestreo puede destruir la estabilidad del ambiente virtual.Entre más pequeño sea el rango de muestra, la mayor energía puede ser generada por una pared virtual. Los investigadores determinan condiciones en el ambiente virtual más simple que garantiza la estabilidad de la interface háptica para cualquier operador pasivo. Estas condiciones reflejan el hecho de que la cantidad de energía generada en un tiempo discreto en el ambiente virtual depende del rango de muestreo. También se envuelve la rigidez y el coeficiente de humedad de la pared virtual, la limitación del rango de los parámetros de dureza y humedad que pueden ser dados.El inconveniente del acoplamiento virtual es que se introduce la distorsión háptica. Hannaford, Ryu y Kim presentan un nuevo método para controlar la inestabilidad que depende del dominio de la definición de pasividad. Ellos definen el “observador pasivo” y el “controlador pasivo” y muestran como pueden ser aplicados al diseño de la interface háptica en lugar de arreglar los parámetros virtuales de acoplamiento.

TÉCNICAS DE REPRESENTACIÓN HÁPTICAExisten diversas maneras de realizar una representación háptica que se basan en diferentes algoritmos los cuales son:

Configuración de espacio Sistema de muestreo virtual mediante el

voxel Objeto deidad Finger pad Análisis de entorno

CONFIGURACIÓN DE ESPACIOEl usuario manipula un objeto a través de los obstáculos en el espacio de trabajo virtual utilizando el dispositivo háptico. El dispositivo háptico envía los datos de movimiento para el motor de renderizado háptico, que se encarga de calcular la fuerza de reacción y un par de colisiones cada vez que existe. La fuerza de reacción calculada y el par se envían al dispositivo háptico, y, a continuación, el usuario puede sentir el objeto manipulado tocar los obstáculos. Por último, se actualiza el escenario virtual y el correspondiente C-space.

Representación Háptica de una tarea utilizando el C-space (Vázquez, 2004)

Este espacio recoge la restricción de contacto y facilita la determinación de la situación de la corriente de contacto y las fuerzas de reacción correspondiente. Por otra parte, de manera explícita las limitaciones de captura de movimiento, que puede ser explotada como una ayuda para guiar al usuario en la realización de la tarea de montaje virtual. Por un lado, si el C-espacio se muestra gráficamente para el usuario, que puede ser utilizado como una guía visual.Por otro lado, puede ser utilizado para calcular un campo de fuerza, utilizando técnicas de planificación en cifras brutas de movimiento, que puede ser alimentada de nuevo al dispositivo háptico y ser usado como una guía táctil

OBJETO DEIDADDebido a los problemas que representa trabajar con múltiples objetos y con objetos finos de un punto de la interfaz háptica en los objetos virtuales, Zilles (1995) se enfoca en un nuevo algoritmo de representación háptica para generar una interacción convincente de fuerzas para el modelado de objetos rígidos. Crearon un modelo virtual de la interfaz háptica llamado “The god object” u Objeto Deidad en español, que conforma el ambiente virtual y el cual facilita el computo de vectores de fuerza para ser aplicados por el usuario, adicionalmente este método cuenta con extensas librerías de objetos ya en existencia.

FINGER PADReferente a la representación háptica de texturas, Ikei (2002) desarrolla un dispositivo que combina la simulación de tacto y fuerzas para presentar texturas virtuales mediante un “fingerpad”. Este en conjunto con el Phantom puede mejorar la representación háptica de texturas.Durante la exploración de una superficie de un objeto virtual, el usuario puede percibir variación de estímulos dentro de la superficie mediante el “fingerpad” como fuerzas de reacción del objeto a la mano.

El sistema consiste en tres partes dedicadas a lo visual, táctil y representación de fuerzas respectivamente. Un sensor de movimiento tridimensional se acopla a los lentes para activar el seguimiento. La pantalla de proyección se inclina 65 grados desde el plano horizontal. El dispositivo vibrador del fingerpad es acoplado al Phantom con un maneral para tomarlo con la palma de la mano. Diez pernos sincronizados entregaran la distribución en dos dimensiones de estímulos en un área limitada del fingerpad.

SISTEMA DE MUESTREO VIRTUAL MEDIANTE EL VOXEL

Un VOXEL es la unidad básica para representaciones en 3D.

Los polígonos complejos generan la necesidad de desarrollar sistemas virtuales más eficientes por lo que Johnson (2003) adopta, para el Phantom de seis grados de libertad, el “Boeing voxel sampling virtual prototyping system”, el cual tiene las siguientes ventajas:

La precisión del prototipo virtual es conservada si los limitantes del mundo real son conservados.

Rangos menores que los rangos en Kilohertz aceptables en la háptica.

Menores distancias que hacen los cómputos más rápidos detallando más la representación háptica.

En este sistema se considera de vital importancia lograr la menor distancia local posible porque la mínima distancia global permite hacer cómputos rápidos entre modelos poligonales usando un numero de algoritmos, sin embargo, si estas técnicas fueran usadas en un sistema de representación háptica, el mínimo global podría generar errores de fuerza en el tiempo, esta fuerzas puede cambiar rápidamente de dirección, creando inestabilidad háptica. La solución es computar la mínima distancia entre modelos, separando los puntos de colisión a una mínima distancia y representando los contactos futuros potenciales.

ANÁLISIS DEL ENTORNOOtro aspecto de vital importancia en la háptica es el grado de eficiencia para mostrar el contacto de objetos en 3D en los ambientes virtuales. De acuerdo con Chin (1999) una mejora de este método de representación es el “Neighborhood watch”, algoritmo que aprovecha la información de conectividad pre computada para detectar colisiones entre el efector final de un robot y objetos en ambientes virtuales.Para lograrlo se debe de utilizar una base de datos jerárquica, técnicas multilectura y procedimientos de búsqueda eficientes para reducir el tiempo de cómputo.

BIBLIOTECAS PARA EL DESARROLLO DE REPRESENTACIÓN HÁPTICA

G2H GHOST OpenHaptic

G2HG2H es una interface entre gráficos y animaciones comerciales y el dispositivo PHANToM. G2H es un modificador del tipo de conexión que puede ser aplicado a cualquier objeto virtual creado o importado. El uso del modificador convierte objetos en objetos de hápticos.Los objetos pueden ser tocados inmediatamente con el dispositivo háptico en un número de puertos de visión configurables proporcionados por el software de gráficos. G2H también permite el cambio dinámico de las propiedades de los objetos hápticos como la rigidez y fricción estática y dinámica.

GHOST SDKGeneral Haptic Software Toolkit (GHOST), Software desarrollado para el empleo del PHANToM, que interprea el ambiente háptico como escenas compuestas por figuras geométricas básicas.El GHOST SDK proporciona control de movimiento en tiempo real, incluyendo el uso de un mecanismo patentado que garantiza una tasa de servo de 1 kHz. Un modelo cinemático que se ocupa de las conversiones entre espacio articular y espacio cartesiano y algoritmos de dinámica. El GHOST es compatible con numerosas interacciones de alto nivel con el sistema.

OPENHAPTICPermite a los programadores objetos en tercera dimensión a una amplia gama de aplicaciones, desde el diseño a los juegos y entretenimiento para la simulación y visualización.Es una biblioteca que es amigable para los programadores gráficos, se puede aprovechar el código existente de Open GL para especificar la geometría y completarla con comandos de Open Haptics para simular las propiedades del material como la fricción y rigidez. La arquitectura extensible permite a los desarrolladores agregar funcionalidad para soportar nuevos tipos de formas. También está diseñado para integrar bibliotecas de terceros tales como motores de detección física/dinámica y colisión.

DISPOSITIVOS HÁPTICOS

Los dispositivos hápticos proporcionan la realimentación de fuerza al sujeto que interactúa con entornos virtuales o remotos. Tales dispositivos trasladan una sensación de presencia al operador.

PHANTOM Y SUS APLICACIONES

PHANToM es un pequeño robot de 3 grados de libertad con 3 uniones revoluta conectadas a la computadora y a motores de corriente directa (CD).La punta del dispositivo se añade como una aguja que es sostenida por el usuario, enviando el voltaje apropiado a los motores es posible ejercer arriba de 4.5N en cualquier dirección.El principio básico de la háptica es: cada milisegundo la computadora que controla el PHANToM lee el encoder de las juntas para determinar la posición precisa de la aguja.Después se compara esta posición con la del objeto virtual que el usuario trata de tocar. Si el usuario está lejos del objeto virtual, se envía un voltaje cero al motor y el usuario es libre de mover la aguja. Si el sistema detecta una colisión entre la aguja y algún objeto virtual, conduce los motores hasta un lugar fuera de la mano del usuario, una fuerza normal a la cara exterior es penetrada.

Este sistema puede ser usado como modelador geométrico, donde el usuario puede cargar formas simples con un triangulo o una esfera y deformarlos para crear modelos más complejos. Conjuntamente puede ser utilizado como un sistema de acabados conjuntamente con un paquete de modelos existentes creando características agudas y detalles más finos.

Aplicación del dispositivo háptico PHANToM

http://embedded-system.net/sensable-openhaptics-3d-realistic-touch-sense-toolkit.html

El sistema tiene las siguientes características: Interacción directa del modelo 3D con la

interfaz háptica utilizando el dispositivo de retroalimentación de fuerzas Phantom, un kit de herramientas hápticas y sus librerías de detección de colisiones.

Edición de modelos multiresolución basada en la representación subdividida de la superficie, puede formar y editar modelos con topología arbitraria variando los niveles de detalle. Diseño 3D interactivo.

OTROS DISPOSITIVOSUn display háptico para manipulación y agarre de objetos virtuales en ambientes CAD es investigado para el desarrollo de rápidos prototipos tecnológicos. El operador recibe la sensación de contacto y la silueta de la superficie del objeto virtual y de agarre y manipulación del objeto del display háptico.Después de que el control del display háptico es formulado este es implementado en el brazo maestro Sarcos Dexterous. El propósito del display háptico es experimentalmente confirmado para brindar las sensaciones reales posibles al operador para agarrar y manipular el objeto virtual tan fácil como se quiera.

Brazo maestro Sarcos Dexterous.http://csl-ep.mech.ntua.gr/current_projects.htm

Un aspecto fundamental es la consideración del agarre de un objeto virtual con dos dedos, manipularlo como se desee para una posición y orientación y libertad del objeto de tomar una nueva posición.Para producir la sensación de agarre y manipulación del objeto virtual al operador el display háptico debe proveer fuerza controlable grados de libertad en el brazo y la mano tan bien como largo sea el espacio de trabajo donde el objeto es manipulado.Adicionalmente las fuerzas antes nombradas llamadas fuerza interna y fuerza externa necesitan ser generadas.Fuerza externa: la fuerza neta o momento aplicado al operador y no se cancela en su cuerpo. Esta fuerza es causada por la gravedad cargada en el objeto, inercia, contacto con el ambiente etc.Fuerza interna: la fuerza aplicada a los dedos que se anula conjuntamente en el cuerpo del operador. Esta fuerza es causada al apretar el objeto con los dedos.Sin embargo en revisiones los displays hápticos convencionales no satisfacen los requerimientos descritos. A saber un display háptico convencional no brinda un amplio espacio de trabajo para manipulación o es capaz de generar solo una fuerza o externa o interna.

PHANToM permite la simulación de la yema de un dedo que entra en contacto con el objeto que se presenta en el ambiente virtual a través de un dedal o una aguja. Este direcciona las coordenadas cartesianas x, y, z y el arado, rolado y cambio de dirección del objeto virtual cuando este se mueve en un espacio de trabajo tridimensional, y sus actuadores comunican fuerzas de reacción a las yemas de los dedos del usuario así puede detectar las colisiones con los objetos virtuales simulando la sensación de contacto.

Retroalimentación de fuerzashttp://dac.escet.urjc.es/rvmaster/rvmaster/asignaturas/tdrv/bajonivel.pdf