La Realtà Aumentatapercro.sssup.it/marcello/didattica/17_AR.pdf · Realtà Virtuale: il presente, il passato, il futuroRealtà Aumentata La Realtà Aumentata Diagramma del continuum

Realtà Virtuale: il presente, il passato, il futuroRealtà Virtuale: il presente, il passato, il futuro Realtà AumentataRealtà Aumentata

DefinizioneDefinizione

Tecnologie:Tecnologie:

HMDHMD

TrackerTracker

ApplicazioniApplicazioni

La Realtà AumentataLa Realtà Aumentata



Diagramma del continuum realtà/virtualità di Diagramma del continuum realtà/virtualità di

Millmann (‘94)Millmann (‘94)

AR come parte della Mixed RealityAR come parte della Mixed Reality

Predomina la percezione del mondo reale, arricchita Predomina la percezione del mondo reale, arricchita

di informazioni digitali generate dal computerdi informazioni digitali generate dal computer

AR e AV sono destinate a fondersi quando le AR e AV sono destinate a fondersi quando le

differenze tra immagini sintetiche e reali saranno differenze tra immagini sintetiche e reali saranno

molto sfumatemolto sfumate



Ambiente RealeAmbiente Reale

Realtà AumentataRealtà Aumentata

Virtualità AumentataVirtualità Aumentata

Realtà VirtualeRealtà Virtuale


AR vs VRAR vs VR

La AR aumenta la scena del mondo reale in modo La AR aumenta la scena del mondo reale in modo

che l’utente mantenga comunque un senso di che l’utente mantenga comunque un senso di

presenza in tale mondopresenza in tale mondo

La VR mira a “sostituire” il mondo realeLa VR mira a “sostituire” il mondo reale

La AR mira ad arricchire la realtà di informazioni utili La AR mira ad arricchire la realtà di informazioni utili

per l’espletamento di compiti complessiper l’espletamento di compiti complessi

Il feedback visivo in VR è completamente sotto il controllo Il feedback visivo in VR è completamente sotto il controllo

del sistema digitale. In AR il feedback è misto.del sistema digitale. In AR il feedback è misto.

Per questo motivo AR ha esigenze assenti in VR, quali Per questo motivo AR ha esigenze assenti in VR, quali

l’acquisizione di immagini reali e la fusione con quelle l’acquisizione di immagini reali e la fusione con quelle

digitalidigitali


AR vs VR AR vs VR -- IIII

AR può essere:AR può essere:

CoCo--locata (oggetti reali e virtuali condividono lo stesso spazio)locata (oggetti reali e virtuali condividono lo stesso spazio)

NonNon--colocatacolocata

Per AR coPer AR co--locata è necessaria una “registrazione”:locata è necessaria una “registrazione”:

Deve esserci un’accurata calibrazione fra il mondo reale e quello Deve esserci un’accurata calibrazione fra il mondo reale e quello

virtualevirtuale

Se vi sono errori di “matching” le sensazioni sono erronee o, Se vi sono errori di “matching” le sensazioni sono erronee o,

peggio, disturbanti, e non avviene la percezione della “fusione”peggio, disturbanti, e non avviene la percezione della “fusione”

Scopo di AR è di migliorare la percezione del mondo e le Scopo di AR è di migliorare la percezione del mondo e le

prestazioni di un operatoreprestazioni di un operatore

Dal punto di vista tecnologico, l’obiettivo è la creazione di Dal punto di vista tecnologico, l’obiettivo è la creazione di

un sistema in cui non si noti la differenza tra il mondo un sistema in cui non si noti la differenza tra il mondo

reale e l’arricchimento virtuale.reale e l’arricchimento virtuale.


AR vs VRAR vs VR


Display per Mixed RealityDisplay per Mixed Reality

Una categorizzazione [Milgram 96] dei display per Una categorizzazione [Milgram 96] dei display per

la MR è basata su tre fattori:la MR è basata su tre fattori:

Fedeltà di rappresentazione (asse 1)Fedeltà di rappresentazione (asse 1)

Misura la qualità dell’immagine digitale, a partire dal wireframe Misura la qualità dell’immagine digitale, a partire dal wireframe

fino al fotorealismo. fino al fotorealismo.

TradeTrade--off fra qualità e velocità, vincoli del tempo reale.off fra qualità e velocità, vincoli del tempo reale.

Sensazione di presenza (asse 2)Sensazione di presenza (asse 2)

Misura il livello di immersione dell’utente nella scena, a partire dal Misura il livello di immersione dell’utente nella scena, a partire dal

monitor fino all’HMDmonitor fino all’HMD

Conoscenza del mondo (asse 3)Conoscenza del mondo (asse 3)

Misura quanto necessarie sono le informazioni provenienti dal Misura quanto necessarie sono le informazioni provenienti dal

mondo esterno. Necessità di localizzazione, calibrazione, etc.mondo esterno. Necessità di localizzazione, calibrazione, etc.


Tecnologie per ARTecnologie per AR

Soluzione basata su HMD Optical SeeSoluzione basata su HMD Optical See--Through:Through:

Utilizza un combinatore ottico per il mix dei segnaliUtilizza un combinatore ottico per il mix dei segnali



Soluzione basata su HMD Video SeeSoluzione basata su HMD Video See--Through:Through:

Necessarie videocamere. Necessarie videocamere.

Permette avanzate tecniche di blending.Permette avanzate tecniche di blending.



Soluzione basata su monitor:Soluzione basata su monitor:

Possibile anche soluzione ottica (monitor seePossibile anche soluzione ottica (monitor see--through)through)


Confronto tra tecnologieConfronto tra tecnologie

Vantaggi dei dispositivi ottici rispetto a quelli Vantaggi dei dispositivi ottici rispetto a quelli video:video:

SemplicitàSemplicità

RisoluzioneRisoluzione

No offsetNo offset


Confronto tra tecnologieConfronto tra tecnologie

Vantaggi dei dispositivi video rispetto a quelli Vantaggi dei dispositivi video rispetto a quelli ottici:ottici:

Flessibilità nelle strategie di composizioneFlessibilità nelle strategie di composizione

Largo campo visivoLargo campo visivo

I ritardi dovuti alla visione reale e a quella virtuale I ritardi dovuti alla visione reale e a quella virtuale possono essere eguagliatipossono essere eguagliati

Migliori strategie di calibrazioneMigliori strategie di calibrazione


HMD Optical SeeHMD Optical See--ThroughThrough


HMD OST: Retinal DisplaysHMD OST: Retinal Displays

Nuova frontiera: retinalNuova frontiera: retinal--displaysdisplays

Nascono all’Università di Nascono all’Università di

Washington nel 1993Washington nel 1993

Proiettano un fascio di luce Proiettano un fascio di luce

direttamente sulla retinadirettamente sulla retina

L’osservatore ha l’illusione di L’osservatore ha l’illusione di

vedere l’immagine come se vedere l’immagine come se

fosse a 50 cm da un display 14”fosse a 50 cm da un display 14”

Caratteristiche:Caratteristiche: Alta RisoluzioneAlta Risoluzione

LuminositàLuminosità

ConsumiConsumi


HMD Video SeeHMD Video See--ThroughThrough


Video SeeVideo See--ThroughThrough

UltimamenteUltimamente molto molto popolaripopolari grazie grazie aiai dispositividispositivi

handheldhandheld


Google Google GlassesGlasses

DA AGGIUNGEREDA AGGIUNGERE


Microsoft Microsoft HololensHololens

AllAll--inin--oneone, in uscita 2015 (?), in uscita 2015 (?)

Permetterà esperienze di realtà aumentata Permetterà esperienze di realtà aumentata coco--locatalocata

Userà sistema di camere 2D e camere 3D per ricostruire la Userà sistema di camere 2D e camere 3D per ricostruire la forma dell’ambiente circostante e permettere la coesistenza di forma dell’ambiente circostante e permettere la coesistenza di contenuti digitali e reali perfettamente allineaticontenuti digitali e reali perfettamente allineati


Microsoft Microsoft HololensHololens

DA AGGIUNGERE VIDEO ETCDA AGGIUNGERE VIDEO ETC


AR: esigenzeAR: esigenze

I sistemi di AR devono, in generale:I sistemi di AR devono, in generale:

Essere eseguibili in tempo reale, in modo da Essere eseguibili in tempo reale, in modo da

consentire l’interattività all’utenteconsentire l’interattività all’utente

Mostrare un’immagine realistica e coerenteMostrare un’immagine realistica e coerente

A tal fine sono necessari:A tal fine sono necessari:

Un adeguato frame rate nella generazione Un adeguato frame rate nella generazione

dell’immagine dell’immagine aumentata aumentata

Una Una corretta calibrazione (registrazione) tra corretta calibrazione (registrazione) tra

l’immagine reale e quella virtuale (AR l’immagine reale e quella virtuale (AR coco--locatalocata))

Il fotorealismo non Il fotorealismo non guasta…guasta…


AR coAR co--locata: problema della registrazionelocata: problema della registrazione

Si possono avere problemi nella calibrazione Si possono avere problemi nella calibrazione

fra i due mondi a causa di:fra i due mondi a causa di:

Rumore nelle misureRumore nelle misure

Postura della camera rispetto alla scena realePostura della camera rispetto alla scena reale

Fluttuazioni dei valoriFluttuazioni dei valori

RitardiRitardi

Errori di calcolo nell’allineamentoErrori di calcolo nell’allineamento


Tecniche visionTecniche vision--based (VB)based (VB)

L’elaboratore interpreta il video ripreso dalla/e L’elaboratore interpreta il video ripreso dalla/e camera/e per localizzare la camera (l’utente) camera/e per localizzare la camera (l’utente) tramite tramite markersmarkers e metodi algoritmici (e metodi algoritmici (pose pose estimationestimation).).


VB: Markers o VB: Markers o landmarkslandmarks

Figure, tipicamente bidimensionali, ad alto Figure, tipicamente bidimensionali, ad alto

contrasto con lo sfondo, facilmente “visibili” contrasto con lo sfondo, facilmente “visibili”

al calcolatore.al calcolatore.

Usate per localizzare siaUsate per localizzare sia

la camera che oggetti la camera che oggetti

mobili nella scena.mobili nella scena.


VB: Tecniche markerlessVB: Tecniche markerless

Riconoscono:Riconoscono:

Proprietà della Proprietà della scena scena

((featuresfeatures))

Oggetti notevoli che Oggetti notevoli che

““fungono” da fungono” da markermarker

Movimenti Movimenti

((GestureGesture recognitionrecognition))

Possono anche essere basatePossono anche essere basate

su immagini di riferimento su immagini di riferimento prepre

acquisiti, delle quali sono noteacquisiti, delle quali sono note

le informazioni di posizionale informazioni di posiziona--

mento (mento (referencereference imagesimages))


Pro e controPro e contro

I metodi elettromeccanici sono i più affidabili e I metodi elettromeccanici sono i più affidabili e

robusti, ma possono limitare i movimenti.robusti, ma possono limitare i movimenti.

L’uso dei sensori introduce robustezza ma la loro L’uso dei sensori introduce robustezza ma la loro

precisione e calibrazione non sono elevate quanto precisione e calibrazione non sono elevate quanto

richiesto dall’occhio umano. richiesto dall’occhio umano.

I metodi I metodi visionvision--basedbased sono molto precisi ma sono molto precisi ma

richiedono ambienti strutturati e controllati (luce, richiedono ambienti strutturati e controllati (luce,

oggetti, occlusioni, movimenti rapidi).oggetti, occlusioni, movimenti rapidi).

L’approccioL’approccio mistomisto ((visionevisione + + sensorisensori convenzionaliconvenzionali) )

apportaapporta migliorimigliori risultatirisultati sotto sotto diversidiversi puntipunti di di

vista.vista.


OcclusioneOcclusione

Uno dei problemi più delicati da gestire è Uno dei problemi più delicati da gestire è

l’occlusione fra oggetti reali e virtualil’occlusione fra oggetti reali e virtuali

Se non gestita, gli oggetti digitali apparirebbero Se non gestita, gli oggetti digitali apparirebbero

sempre in primo piano rispetto a quelli realisempre in primo piano rispetto a quelli reali


Mobile ARMobile AR

Utilizza un mix di tecniche basate su:Utilizza un mix di tecniche basate su:

-- posizionamento globale (GPS, bussola)posizionamento globale (GPS, bussola)

-- posizionamento locale (accelerometri)posizionamento locale (accelerometri)

-- computer visioncomputer vision

Tipicamente usata per sovrapporre Tipicamente usata per sovrapporre layerlayer di informazioni di informazioni

georeferenziategeoreferenziate (es. estratte da Google (es. estratte da Google MapsMaps) )

sull’ambiente acquisito dalla telecamerasull’ambiente acquisito dalla telecamera

Esempi: Esempi: LayarLayar, , WikitudeWikitude

OuidooOuidoo: terminale per mobile AR (fine 2010): terminale per mobile AR (fine 2010)


Wide Area Wide Area TrackingTracking

Il GPS differenziale (DGPS) migliora il segnale GPS

usando un cluster di sistemi di riferimento a terra

disposti in posizioni note e capaci di misurare la

differenza tra la posizione nota e quella indicata dal

GPS. Il DPGS è molto più accurato del GPS (fino a 10

cm)

I sensori inerziali (Inertial Measurement Units o IMU)

possono essere usati per il dead-reckoning, ovvero per

stimare la posizione basandosi su una posizione nota

inizialmente e sulla velocitù stimata. Come noto le

IMU hanno il problema del DRIFT, ma le moderne IMU

riescono a compensare il problema basandosi sul’uso

di dati stazionari noti (es. NavShoe)


Wide Area Wide Area TrackingTracking

Le tecniche marker-less techniques consentono l’uso di

scene non preparate. L’estrazione automatica di

features (SIFT) può essere usata per individuare marker

visuali naturali dalle immagini della scena acquisite da

una camera ed effettuare un tracking accurato.

Gli approcci PTAM (Parallel Tracking And Mapping),

originariamente sviluppati per AR in piccoli spazi,

combinano il tracking di centinaia di features tra frame

consecutivi per una stima accurata della “camera pose”.

Sebbene il tracking basato su PTAM richieda un’elevata

potenza di calcolo, approcci ibribi basati su PTAM oggi

sono disponibili anche su handheld.


ProjectiveProjective ARAR

I contenuti aumentati sono proiettati sugli oggetti realiI contenuti aumentati sono proiettati sugli oggetti reali


Software per AR Software per AR visionvision--basedbased

High High –– levellevel

AMIRE, …AMIRE, …

MiddlewareMiddleware

AR ToolkitAR Toolkit

AR AR TagTag,,

ARUCOARUCO

Low Low LevelLevel

DirectXDirectX ((DirectShowDirectShow))

OpenCVOpenCV

……


SoftwareSoftware


Low Low levellevel softwaresoftware

DirectShowDirectShow

Parte di Microsoft Parte di Microsoft DirectXDirectX, è una collezione di API, è una collezione di API

multimediali per supportare la gestione di file multimediali per supportare la gestione di file

multimediali e multimediali e streamstream audio e video. Estensibile audio e video. Estensibile

grazie al concetto di “filtro”. Distribuito come grazie al concetto di “filtro”. Distribuito come

parte di Windows SDK.parte di Windows SDK.

OpenCVOpenCV

Libreria multipiattaforma C++ orientata alla Libreria multipiattaforma C++ orientata alla

computer vision (dunque di più alto livello di DS), computer vision (dunque di più alto livello di DS),

originariamente sviluppata da Intel, attualmente originariamente sviluppata da Intel, attualmente

open source. open source.


AR ToolkitAR Toolkit

Libreria per la costruzione di applicazioni di ARLibreria per la costruzione di applicazioni di AR

Usa algoritmi di computer vision basati su Usa algoritmi di computer vision basati su

marker:marker:

Tracking dei 6DOF di una singola telecamera Tracking dei 6DOF di una singola telecamera

Marker: pattern di quadrati neriMarker: pattern di quadrati neri

Distribuzioni per SGI, Linux, MacOS e WinOSDistribuzioni per SGI, Linux, MacOS e WinOS

Distribuito con codice sorgenteDistribuito con codice sorgente

http://www.hitl.washington.edu/artoolkit/http://www.hitl.washington.edu/artoolkit/


AR Toolkit: schema di funzionamentoAR Toolkit: schema di funzionamento


AR AR TagTag

Concettualmente simile a AR ToolkitConcettualmente simile a AR Toolkit

Più recente, usa algoritmi di Più recente, usa algoritmi di CVCV più efficienti più efficienti

e robusti rispetto alle variazioni di luminositàe robusti rispetto alle variazioni di luminosità

http://www.artag.net/http://www.artag.net/


ARUCOARUCO

Libreria più agile ed efficiente di AR toolkitLibreria più agile ed efficiente di AR toolkit

Basata su Basata su OpenCVOpenCV

1024 1024 markersmarkers

Supporto a Supporto a markermarker boardsboards (più robusto)(più robusto)


AMIREAMIRE

Authoring tool per Mixed RealityAuthoring tool per Mixed Reality

Nasce da un progetto EU ISTNasce da un progetto EU IST

Ha prodotto:Ha prodotto:

MR Gems, Components, FrameworksMR Gems, Components, Frameworks

MR Authoring Metaphors dedicate a tipologie di MR Authoring Metaphors dedicate a tipologie di

applicazioniapplicazioni

Costruito on top of AR toolkitCostruito on top of AR toolkit

http://webster.fhhttp://webster.fh--

hagenberg.at/amire/development.htmlhagenberg.at/amire/development.html


Audio Augmented RealityAudio Augmented Reality

Esempio: applicazione musealeEsempio: applicazione museale

Le guide sonore in cuffia causano l’isolamento delle Le guide sonore in cuffia causano l’isolamento delle

persone nei confronti dell’ambiente circostantepersone nei confronti dell’ambiente circostante

Solitamente prevedono un percorsoSolitamente prevedono un percorso

sequenziale predeterminatosequenziale predeterminato

AAR prevede che le descrizioni delle AAR prevede che le descrizioni delle

opere partano quando ci si avvicina a opere partano quando ci si avvicina a

loroloro

L’accesso è dunque L’accesso è dunque randomrandom

Gruppi di persone vicine ascolterannoGruppi di persone vicine ascolteranno

lo stesso contenutolo stesso contenuto


Audio Augmented RealityAudio Augmented Reality

Esempio: icone sonoreEsempio: icone sonore

AAR può fornire informazioni a utenti occupati in AAR può fornire informazioni a utenti occupati in

un task “visualmente impegnativo”un task “visualmente impegnativo”

Le informazioni vengono fornite come icone audio Le informazioni vengono fornite come icone audio

3D, in modo da fornirne anche una localizzazione 3D, in modo da fornirne anche una localizzazione

spaziale spaziale


AR: applicazioniAR: applicazioni


AR: mixed environmentsAR: mixed environments

CLIP


AR: information overlayAR: information overlay


Wearable ARWearable AR


AR: post processingAR: post processing


AR: intrattenimentoAR: intrattenimento

Pubblicità (Princeton Electronic Billboards)Pubblicità (Princeton Electronic Billboards)


SportSport


PubblicitàPubblicità



Inserimento di informazioni utiliInserimento di informazioni utili



Inserimento di informazioni utiliInserimento di informazioni utili


TurismoTurismo



Attori virtualiAttori virtuali



CLIP

Pong

GiochiGiochi


GiochiGiochi


GiochiGiochi


CommercioCommercio


CommercioCommercio


AR: Riparazione e manutenzioneAR: Riparazione e manutenzione

EtichetteEtichette

Visualizzazione di Visualizzazione di

procedureprocedure


AR: Riparazione e manutenzioneAR: Riparazione e manutenzione

Manuali interattiviManuali interattivi


ArchitectureArchitecture

Ar-Assistant Control Station

Communication Server

LAN Access Point

Ar-Assistant Wearable System

Mobile Camera

AR: PERCRO AR AssistantAR: PERCRO AR Assistant






AR: Applicazioni militariAR: Applicazioni militari

Visualizzazione di mappe con dati aumentatiVisualizzazione di mappe con dati aumentati


AR: Applicazioni militariAR: Applicazioni militari

Coordinamento di missioni con teleguidaCoordinamento di missioni con teleguida

Cockpit virtualeCockpit virtuale


AR: MedicinaAR: Medicina

Chirurgia guidata da immagini Chirurgia guidata da immagini

acquisite in fase preoperatoriaacquisite in fase preoperatoria


DidatticaDidattica


Visualizzazione aumentataVisualizzazione aumentata



Biopsia assistita da immagini Biopsia assistita da immagini

sintetizzate da dati ricavati ad ultrasuonisintetizzate da dati ricavati ad ultrasuoni



Parto assistito da immagini sintetizzate Parto assistito da immagini sintetizzate

da dati ricavati ad ultrasuonida dati ricavati ad ultrasuoni

Documents

La Realtà Aumentatapercro.sssup.it/marcello/didattica/17_AR.pdf · Realtà Virtuale: il presente, il passato, il futuroRealtà Aumentata La Realtà Aumentata Diagramma del continuum