Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque-Enver Sangineto Sistemi per lInterazione Locale e Remota Marzo 2010

  • View
    212

  • Download
    0

Embed Size (px)

Text of Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque-Enver Sangineto...

  • Slide 1
  • Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque-Enver Sangineto Sistemi per lInterazione Locale e Remota Marzo 2010
  • Slide 2
  • Outline Mixed Reality (MR) Virtual Reality (VR) Augmented Reality (AR) Augmented Virtuality (AV)
  • Slide 3
  • Mixed Reality Mixed Reality (MR) e un termine che viene usato per rappresentare un intero spettro di situazioni che spaziano dallambiente reale allambiente virtuale.
  • Slide 4
  • Mixed Reality Continuum Mixed reality includes augmented reality, augmented virtuality, and other mixed configurations. Mixed Reality (MR)
  • Slide 5
  • Caratteristiche dei sistemi di MR Reproduction Fidelity: misura la qualita della generazione delle immagini Extent of Presence Metaphor: misura il livello di immersioni dellutente dentro la scena Extent of World Knowledge: livello di accuratezza nella sincronizzazione degli oggetti virtuali e mondo reale
  • Slide 6
  • What is Virtual Reality ? Brooks (1999) definisce come: unesperienza.. nella quale lutente immerso in un mondo virtuale capace di reagire alla sua presenza Sherman and Craig (2003) definisce come: un mezzo composto da simulazioni interattive tramite computer che percepiscono la posizione e le azioni dellutente e sostituiscono o aumentano il feedback di uno o piu sensi, dando limpressione di essere mentalmente immersi o presenti nella simulazione (virtual world)
  • Slide 7
  • Performance of VR systems In un sistema VR importante poter produrre immagini 3D realistiche ad alta risoluzione, in real-time e senza evidenti ritardi. Hardware capability Software capability
  • Slide 8
  • Four Key Elements in Experiencing VR Un ambiente virtuale Immersione (fisica e mentale): d un senso di presenza nellambiente virtuale; questo puo essere uno stato puramente mentale o realizzato con mezzi fisici Feedback: sensoriale visivo/auditivo/tattile/ inviato allutente. Interattivit: in unesperienza di realt virtuale, i partecipanti si possono muovere e cambiare punto di vista.
  • Slide 9
  • Presence and Immersion Immersion immerso nellambiente: realizzato tipicamente mediante HMD o sistemi multi- display Self Presence senso di 3D relativo allambiente: I am there Object Presence gli oggetti sono 3D rispetto allutente: it is there
  • Slide 10
  • Criteria of Immersion Totale illusione di essere circondato da oggetti virtuali Lambiente dovrebbe reagire allutente. Gli oggetti devono avere un senso di presenza Non e richiesto un modello del mondo reale Non sono importanti foto realistiche
  • Slide 11
  • Four Crucial Technologies for VR Visual displays: immersione dellutente nel mondo virtuale Graphics rendering system: che genera da 20 a 30 frames per secondo Tracking system: rileva continuamente la posizione e lorientamento della testa e della mano dellutente (ritardi di ms nessun problema, >0.1 s, effetto negativo) World modeling system: per la costruzione e laggiornamento dei dettagli dei modelli realistici del mondo virtuale
  • Slide 12
  • The Technology of Immersion Stereoscopic display: d la profondit del campo visivo dellutente Head tracking: d illusione allutente di guardarsi attorno. 3D computer graphics: riempie lambiente con gli oggetti virtuali 3D interaction: d la sensazione allutente di interagire con oggetti reali
  • Slide 13
  • Typical Components of VR Sistema Base: Computer Head-Mounted Display (HMD) Hand-tracked device (VR Glove or Wand) 3D graphics rendering system Inoltre: 3D sound, spaceball, etc.
  • Slide 14
  • Typical Computer used for VR SGIs Onyx 2 (4 CPUs, 2 Infinite Reality Pipelines)
  • Slide 15
  • Head-Mounted Display (HMD) Piccoli display montati sulla testa, completamente immersivi, hanno bisogno di un tracker per tracciare la posizione e lorientazione della testa.
  • Slide 16
  • Head-Mounted Display (HMD) -supported Floor Display
  • Slide 17
  • Stereoscopy Stereoscopia una tecnica capace di creare lillusione della profondita in unimmagine. Lillusione della profondita in una foto, film, o altre immagini 2D e creata tramite due immagini leggermente diverse per ogni occhio.
  • Slide 18
  • VR Glove
  • Slide 19
  • Wand
  • Slide 20
  • 3D Tracking Paradigm Uno o pi sensori determinano la posizione e lorientamento rispetto ad una sorgente Il sensore(i) capta un segnale proveniente dalla sorgente e stabilisce sia la posizione che lorientamento Sorgente e sensore possono essere fissi o mobili Diverse tecnologie: Ultrasuoni, Elettromagnetici, Ottici
  • Slide 21
  • Localization by Ultrasound Una sorgente (emittente) emette un segnale (ultrasuono) verso il guanto, che contiene 2-3 ricevitori. Il tempo che intercorre tra lemissione e la ricezione determina la distanza emittente-ricevente
  • Slide 22
  • Localization by Ultrasound Emitter Ultrasound wave Finger flexion sensor Spatial position sensor
  • Slide 23
  • Ultrasonic Tracking Advantages and Disadvantages Vantaggi Basso costo Facile da realizzare Svantaggi Nessun ostacolo tra emittente e ricevente Range molto corto (few feet) Fortemente dipendente dalla temperatura e dallumidit dellaria
  • Slide 24
  • Localization by Electromagnetic (EM) Pulses Tre antenne emettono impulsi radio in sequenza Tre antenne ricevono gli impulsi e determinano la potenza del segnale lungo gli assi La potenza globale delle tre receventi dar la distanza dalla sorgente emittente
  • Slide 25
  • Localization by EM Pulses Electronic box output to the host computer Receiver weak signal Emitter strong signal
  • Slide 26
  • EM Advantages and Disadvantages Vantaggi Facilita nella gestione del tracking Possono esserci ostacoli tra sorgente e sensore Tecnologia matura Svantaggi Errori nel tracking Range corto Fortemente sensibile al campo magnetico e oggetti metallici nellambiente
  • Slide 27
  • Localization by Optical Correlation Analisi stereoscopica, correlazione pixels comuni a due immagini riprese da due telecamere I punti correlati permettono la triangolazione delle posizioni (3D) La triangolazione si basa sulla corrispondenza di punti simili presi su due immagini diverse
  • Slide 28
  • Localization by Optical Correlation
  • Slide 29
  • Optical Advantages and Disadvantages Vantaggi Qualita molto buona del segnale di tracking Uno dei metodi pi precisi Svantaggi Nessun ostacolo tra emittente e receivente Ingombrante e difficile da realizzare
  • Slide 30
  • Cave Automatic Virtual Environment (CAVE) Sistemi basati sulla proizione: proiezione diretta o con retro-proizione, lutente completamente circondato da immagini proiettate su grandi schermi. Crea un senso di elevata immersione
  • Slide 31
  • CAVE Completely immersive Maximum cost solution Centralized facility Not Mobile
  • Slide 32
  • The desire for higher-resolution color images and good surround vision without geometric distortion Less sensitivity to head-rotation induced errors The ability to mix virtual reality imagery with real devices (like one's hand, for instance) The need to guide and teach others in a reasonable way in artificial worlds Goals that inspired CAVE Engineering
  • Slide 33
  • CAVE Demo
  • Slide 34
  • Cave Demos CAVE project: http://www.youtube.com/watch?v=- Sf6bJjwSCE http://www.youtube.com/watch?v=- Sf6bJjwSCE Quake with CAVE: http://www.youtube.com/watch?v=gnGRH WzGifU&feature=related http://www.youtube.com/watch?v=gnGRH WzGifU&feature=related
  • Slide 35
  • Cave Applications architectural walk-through evaluation of engineering designs (virtual prototyping) driving simulators training for dangerous situations and other scenarios molecular modeling virtual reconstruction of archeological sites medical and biological visualization artistic expression of ideas, and more...
  • Slide 36
  • Cave Applications
  • Slide 37
  • Distributed Architectures: Idea of the Future Present way of Teaching Super Computer (Flow data, Visualization computation) visualization data user commands Ultra Net Future way of Teaching CAVE A (ELG 5121) CAVE B Prof. El Saddik
  • Slide 38
  • Blue-c System Blue-c system by ETH institutes: collaborative virtual reality
  • Slide 39
  • Blue-c System
  • Slide 40
  • Workbenches Banchi di lavoro: schermi piatti che presentano immagini in modalita stereo. Possono essere montati anche in orizzontale/inclinati. Immersione parziale, alto senso di presenza delloggetto
  • Slide 41
  • Interagire piu efficaciamente con I mondi virtuali: Manipulation Wayfinding Modellare i mondi efficientemente Modeling the existing world Modeling non-existing worlds Misurare lillusione della presenza e la sua efficacia operazionale Open Challenges
  • Slide 42
  • Augmented Reality (AR) A differenza della virtual reality, augmented reality si riferisce a situazioni nelle quali lobiettivo integrare la percezione dellutente di un mondo reale attraverso laggiunta di oggetti virtuali
  • Slide 43