Upload
eugenio-rustico
View
1.325
Download
3
Embed Size (px)
Citation preview
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parte 1/3: Formazione delle immaginiA.A. 2008-2009 - Corso di Computer Vision
Eugenio [email protected]
D.M.I. - Universita di Catania
Modificato: 20 marzo 2009
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
5-6 lezioni su
Formazione dell’immagine
Calibrazione della camera
Stereovisione e ricostruzione
Web:http://www.dmi.unict.it/~battiato/CVision0809/CVision0809.htm
http://www.dmi.unict.it/~rustico
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
In caso di dubbi/difficolta (in ordine di importanza):
1 Interagire a lezione, interrompere e domandare in qualsiasimomento
2 Consultare appunti, libri di testo, Wikipedia...
3 Ricevimento (preferibilmente mercoledı)
4 Email: [email protected]
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La risoluzione di molte problematiche di Computer Vision partedall’analisi del processo di formazione dell’immagine di una scena.
Alcune tecniche di calibrazione e ricostruzione seguono una sorta direverse engineering di questo processo.
Come si forma l’immagine di una scena?
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Abbiamo una fonte di luce, degli oggetti non completamentetrasparenti e una superficie sensibile ai raggi di luce (pellicola,sensore digitale, retina, etc.).
I raggi di luce vengono rifratti dagli oggetti in modo “caotico”
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Ogni punto della scena “influisce” su diversi punti del pianoimmagine...
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
...e ogni punto del piano immagine e colpito da raggi provenientida punti differenti
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Come facciamo a fare in modo che ogni punto della scena influiscasu di un solo punto del piano immagine?
Una possibilita e quella di costringere tutti i raggi a passare per unforo molto piccolo...
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Camera pinhole
La “scatola” dove si forma l’immagine e una camera pinhole.Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Camera pinhole
Ma la camera pinhole...
Richiede una superficie con un range di sensibilita enorme
Non e molto pratica (zoomare?)
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Le lenti sottili sono un dispositivo ottico piu complesso e piuflessibile per mettere a fuoco l’immagine di una scena.
Possiamo immaginarle come un sottile disco di vetro di unmateriale trasparente in cui sono definiti un asse ottico e duefuochi, ovvero due punti particolari dell’asse ottico esterni allalente stessa.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Deviazione della luce
Le lenti sono in grado di deviare la luce seguendo due regole:Ogni raggio di luce che entra da un lato della lenteparallelamente all’asse ottico viene deviato verso il fuoco chesi trova dall’altro lato;
Ogni raggio di luce che entra da un lato della lente passandoper il fuoco esce dall’altro lato parallelamente all’asse ottico.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Deviazione della luce
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Equazione fondamentale
Tramite considerazioni geometriche sulle coppie di triangoli simili△
PQFl ,△
SOFl e△
ROFr ,△
TpFr , otteniamo la relazione
1
Z+
1
z=
1
f
che e l’equazione fondamentale delle lenti sottili.Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Equazione fondamentale
1
Z+
1
z=
1
f
Questa relazione ha una conseguenza importante: affinchel’immagine sia a fuoco, a parita di lunghezza focale (i.e. distanzadel fuoco dal centro) i punti devono trovarsi alla stessa distanzadalla lente.
In altre parole, una lente e in grado di mettere a fuoco solo unasezione della scena parallela al piano immagine.
...ma cosa vuol dire mettere a fuoco, ad esempio, in una macchinadigitale?
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
Che il nostro sistema ottico sia un pinhole o una lente sottile,l’immagine che si forma e una proiezione della scenatridimensionale attraverso il piano di immagine π:
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
Procediamo nuovamente per triangoli simili:△
pQO e simile a△
PRO,da cui deriviamo:
pQ : PR = OQ : OR
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
ovvero:
x = fX
Z
y = fY
Z
che chiamiamo equazioni fondamentali della camera prospettica.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello debole
Le equazioni fondamentali della camera prospettica non sonolineari; possiamo pero renderle lineari al prezzo di una piccolaapprossimazione.
Se i punti della scena sono abbastanza distanti dalla camera e ledifferenze di coordinata Z tra punti differenti sono trascurabili,possiamo approssimare i valori delle Z con una costante Z . Leequazioni fondamentali allora diventano:
x = fX
Z
y = fY
Z
Indicativamente, tale approssimazione e fattibile quando ledifferenze δZ tra i punti della scena sono inferiori ad 1/20 delladistanza media da O.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri estrinseci
Le coordinate dei punti, finora, le abbiamo considerate nel sistemadi riferimento della camera stessa. Il piu delle volte, pero, i puntivengono forniti nel sistema di riferimento del mondo, la cuirelazione col sistema della camera e spesso sconosciuta.
Per passare da un sistema di riferimento ad un altro ci serve unarototraslazione nello spazio. Possiamo identificarla con due vettori:T racchiude gli offset di traslazione (3 valori), R la rotazione (3gradi di liberta):
Pc = R(Pw − T )
I sei parametri che definiscono questa trasformazione, specifica perogni camera, sono i parametri estrinseci della camera.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri intrinseci
Servono altri parametri, oltre ai sei estrinseci, per definirecompletamente la proiezione cui ogni punto e sottoposto:
Conosciamo gia la lunghezza focale f , che nelle camere reali ecorrelata allo zoom otticoIl piano immagine ha un sistema di riferimento proprio, disolito in pixel. Ci serve conoscere l’origine del sistema: glioffset ox e oy rappresentano le coordinate in pixel del centrootticoL’unita di misura del mondo 3D e la stessa del pianoimmagine? Definiamo sx ed sy come le dimensioni orizzontalee verticale di un pixel del sensore (a volte bastera il lororapporto α = sx/sy )Le lenti reali introducono nell’immagine una distorsione
radiale, parametrizzabile con due parametri k1 e k2
I sette parametri f , ox , oy , sx , sy , k1 e k2 sono detti intrinseci eriguardano il modo con cui i punti del piano immagine (in
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri intrinseci
ox , oy , sx ed sy ci permettono di descrivere direttamente larelazione il sistema di riferimento della camera e quello del piano diimmagine. Se indichiamo con (xim, yim) le coordinate in pixel delpunto (x , y), la relazione e:
x = −(xim − ox)sx
y = −(yim − oy )sy
La relazione e un po’ piu complessa per la distione radiale,modellata da k1 e k2. Se (xd , yd ) sono le coordinate distorte delpunto (x , y), possiamo scrivere:
x = xd(1 + k1r2 + k2r
4)
y = yd(1 + k1r2 + k2r
4)
dove r2 = xd2 + yd
2.Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Adesso, con i parametri estrinseci della camera, siamo in grado ditradurre il sistema di riferimento del mondo in quello della camera.
Per proiettare un punto della scena Pw sul piano immagine di unacamera arbitrariamente orientata e calibrata non dovremo far altroche:
1 Tradurre le coordinate di Pw nel sistema di riferimento dellacamera(Pc = R(Pw − T ))
2 Proiettare Pc con le equazioni fondamentali della cameraprospettica
3 Tradurre le coordinate del punto proiettato in pixel tramite iparametri intriseci
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Versione lineare
x = fX
Z
y = fY
Z
−(xim − ox)sx = fX
Z
−(yim − oy )sy = fY
Z
−(xim − ox)sx = fR1(Pw − T )T
R3(Pw − T )T
−(yim − oy )sy = fR2(Pw − T )T
R3(Pw − T )T
Versione lineare delle equazioni fondamentali di proiezioneprospetticaEugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Versione matriciale
Vediamo di scrivere le equazioni lineari con una notazione piucompatta:
Mint =
−f /sx 0 ox
0 −f /sy oy
0 0 1
Mext =
r11 r12 r13 −R1TT
r21 r22 r23 −R2TT
r31 r32 r33 −R3TT
x1
x2
x3
= MintMext
Xw
Yw
Zw
1
Versione matriciale delle equazioni fondamentali di proiezioneprospettica
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini
Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
A volte si compattano Mint ed Mext in una sola matriceM = MintMext .
Con alcune assunzioni, M assume una forma non troppocomplessa. Ad esempio, se poniamo ox = oy = 0 e sx = sy = 0(ovvero, “fingiamo” sia la camera che il mondo abbiano la stessaunita di misura) la matrice unica M diventa:
M =
−fr11 −fr12 −fr13 fR1TT
−fr21 −fr22 −fr23 fR2TT
r31 r32 r33 −R3TT
In assenza di ulteriori vincoli, M e chiamata genericamente matrice
di proiezione.
Eugenio Rustico [email protected] IPlab - Universita di Catania
Formazione delle immagini