Università degli studi“La Sapienza”

Tesina di Visione e Percezioneanno accademico 2005/2006

Nobili Diana Santoro

Simona

Componenti del sistema

• computer

• telecamera non calibrata

• insieme di immagini di riferimento:

• disordinate

• acquisite a mano con la telecamera

• punti di vista non conosciuti a priori

• almeno 2 immagini

Cosa fa il sistema

Estrazione features

Feature matching

Validazione match

Inserimento oggetto virtuale

Riconoscimento modelloP

osa del la c amera

Natural features

Scale Invariant Feature Transform

(SIFT)

Caratteristiche

• Invarianti a cambiamento di scala, rotazione e traslazione.• Parzialmente invarianti a trasformazioni affini, cambiamenti di illuminazione, cambiamenti di punto di vista nella scena, aggiunta di rumore e occlusioni.

SIFT: algoritmo di David Lowe L’algoritmo calcola un set di keypoints insieme ai corrispondenti

descrittori di features.1. Costruzione dello spazio scala definito come:

2. Differenza di gaussiane e individuazione di massimi e minimi della piramide.

3. Localizzazione dei keypoints individuati.

4. Attribuzione di una direzione a ciascun keypoint.

5. Definizione dei descrittori di keypoints:

dove

Feature matching• Miglior match – minima distanza Euclidea tra vettori di descrittori• Matches tra 2 viste calcolate con ricerca Best-Bin-First (BBF) su un albero k-d • Miglioramento matches attraverso RANSAC su coppie di immagini selezionate costruendo uno spanning tree sul set delle immagini:

Struttura 3D euclidea ottenuta da corrispondenze tra diverse viste utilizzando il

direct bundle adjustment che minimizza l’errore di riproiezione:

Struttura della scena

dove:X’j= coordinate 3D del punto del mondo Y’j=posizione della camera per l’immagine jZ’’j=parametri di calibrazioneOttimizzazione della formula per

riduzione jitter:

α2 iterativamente corretto per ogni frame nel modo:

NW t222 1tpp

22

2

1t

pptW

N

dove W è una matrice diagonale 6x6 di pesi sui parametri di posizionamento della telecamera e α è uno scalare che controlla la differenza tra misure correnti e stima desiderata.

Pij= proiezione 2D di un punto 3D

Costruzione del modello: un esempio

Il modello ricostruito cattura correttamente la planarità della superficie del libro e la rotondità della tazza.

Inserimento oggetto virtuale

Determinazione della profondità relativa

Correzione dimensione e posizionamento

Inserimento iniziale in 2D

Inserimento dell’oggetto

Un esempio

www.cs.ubc.ca/~skrypnyk/arproject

SIFT Tutorialby Thomas El Maraghi

Il tutorial fornisce diversi esempi di applicazione dell’algoritmo delle SIFT sviluppato da David G. Lowe ed è basato sugli articoli seguenti:

[1] David G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”

[2] David G. Lowe, “Object Recognition from Local Scale-Invariant Features”

[3] David G. Lowe, “Local feature view clustering for 3D object recognition”

Esempio 1: the Einstein image Vengono calcolati i keypoints per l’immagine di Einstein e per la sua

versione ruotata applicando l’algoritmo delle SIFT.

1. Piramidi

2. Localizzazione keypoints. Massimi locali nella piramide laplaciana.

3. Localizzazione keypoints dopo eliminazione punti a basso contrasto.

4. Localizzazione keypoints dopo filtraggio per eliminazione edges.

5a. Keypoints finali con attribuzione direzione.

5b. Keypoints finali per l’immagine ruotata

Esempio 2: architectural imagesPasso1 : SIFT su insieme di immagini I;

Passo2 : scelta immagine di riferimento r;

Passo4 : calcolata la matrice affine tra immagine r e originale per ottenere l’immagine allineata;

Passo5 : differenza tra r e immagine allineata.

Legenda: O inliers O outliers + + features

Passo3 : calcolate le corrispondenze con r;

per ogni coppia di immagini <r, p> con p in I <> da r :

Esempio 3: object recognitionSfruttando le stesse tecniche dell’esempio precedente si individua un oggetto in un’ immagine anche se parzialmente nascosto.

Conclusioni

CONTRO non su tutte le immagini(es. basso contrasto) buoni risultati; su Web disponibili alternative alle SIFT come Multi-Scale Oriented Patches

che restitituiscono una migliore distribuzione spaziale delle features.

PRO non necessita di: calibrazione camera, markers, conoscenza della geometria della scena, ecc. tracciamento robusto anche in presenza di occlusioni o cambiamenti di scena.

Altre applicazioni delle SIFT generazione panorama a partire da un gruppo d’immagini (nell’esempio 57) sony aibo per la localizzazione