Univerza v Ljubljani Iz vsebine - Machine Vision …...• Distorzija le če • Lens distortion...

http://vision.fe.uni-lj.si/

Modeliranje kamere

Stanislav Kovačič

Univerza v Ljubljani

Fakulteta za elektrotehniko

Iz vsebineIz vsebine

• Nastanek slike, osnovno o modeliranju kamere• Image formation, basics of camera modeling

• Direktna linearna transformacija (DLT)• Direct Linear Transform (DLT)

• Kalibracija kamere (DLT, Tsai)• Calibration (DLT, Tsai)

• Rekonstrukcija – “nazaj v prizor”• Reconstruction – back from 2D to 3D

• Še nekaj pogledov na modeliranje kamere• Camera model revisited

• Distorzija leče• Lens distortion

Geometrijski modeli kamerGeometrijski modeli kamer

Zanima nas, kako se točke v prostoru preslikajo (projicirajo) v sliko (Geometric camera modeling)

3D → 2D

object film object filmbarrier

Slide source: Seitz

Prav dobre “slike” na ta način ne moremo pričakovati �

Tako pa že ☺

Centralno projekcijski (perspektivni) modelPerspective projection (pin-hole camera model)

P=(X,Y,Z)

Xfx −=

Yfy −=

Slikovna ravnina

Image plane

Goriš čna

razdalja

Focal lenght

Slikovna ravnina

Image plane

Goriš čna razdalja

Focal lenght

Optično (projekcijsko) središče premaknemo za slikovno ravnino

Perspektivna projekcijaPerspektivna projekcija

Ravne črte ostanejo ravne

Vzporedne premice se sekajo v skupni točki –bežišču (vanishing point)

Koti se ne ohranjajo

Dolžine (razdalje) se ne ohranjajo

Šibko perspektivni model (angl. Weak Perspective)

• Debelina predmeta majhna v primerjavi z razdaljo, ∆Z << Z.

• Tanki (planarni) predmeti in/ali na primerno veliki razdalji.

• Ortografska (m=1) projekcija s skaliranjem (m < 1).

Reference

Image plane

Optical

center

• (Digitalno) sliko sestavlja polje slikovnih elementov (pixels).

• Slikovne koordinate so diskretne, izražene v “pikslih”, (u, v).

Xfxu u

=====λλ

Yfyv v

=====λλ

• Za veliko praktičnih primerov zadostuje,da določimo λu , λv (oziroma fu , fv ) ali mu, mv.

P(X,Y,Z)

• Položaj točke P v prostoru (koordinate X, Y, Z) smo podajali glede na koordinatni sistem (k.s.) kamerein točko projicirali v slikovno ravnino.

• Koordinatni sistem kamere pa ni direktno dosegljiv.

Coordinate system attached to the camera

• Položaj predmeta (P) raje definiramo v zunanjem –“svetovnem” - referenčnem k.s., v katerem so koordinate (direktno) merljive.

• k.s. npr. definirajo stene/tla prostora, predmet pravilne oblike (kvader), stroj, robot, ...

• Mapping 3D → 2D:• Translate• Rotate• Project

ZP(X,Y,Z)

p(u,v)Camera coordinatesystem

World(reference) coordinatesystem

• Parametri kamere (angl. Camera parameters):• Zunanji (angl. Extrinsic, External):

• položaj in smer kamere (k.s. kamere) (position, rientation) glede na poznan zunanji koordinatni sistem (referenčni k.s.)

• Notranji (angl. Intrinsic, Internal):• parametri, ki povezujejo slikovne

koordinate pikslov s k.s. kamere.• Vsega skupaj 11 ali več parametrov:

• premik (translation) (3), zasuk (rotation) (3), • goriščna razdalja (1), (focal length),• optično središče slike (2), (image center),• velikost piksla (2), (pixel size).

• K tem (po potrebi) dodamo še distorzijo leče (angl. Lens distortion):

• odvisno od modela (1 – 5 parametrov).

Direktna linearna transformacija (DLT)Abdel-Aziz & Carara 1971

Direktna linearna transformacijaDirektna linearna transformacija

O(X0,Y 0,Z 0)

p(U,V,0)

o(U 0,V 0,0)

Načeloma iš čemo preslikavo

T: ℜℜℜℜ3 →→→→ ℜℜℜℜ2

P →→→→ p

O(U 0,V 0,f)

ZP(X,Y,Z)

b = p – oa = P – O

Kolinearnost vektorjev a in b:

b = c a, c > 0 (skalar)

b izrazimo v k.s. kamere, b(U b,V b,Wb)

a izrazimo v zunanjem k.s., a(X a,Y a,Z a)

b = p(U,V,W=0) – o(U 0,V 0,W0=f)

a = P(X,Y,Z) – O(X 0,Y 0,Z 0)

b (U b,V b,Wb) = c R a(X a,Y a,Z a)

R = rotacijska matrika

p–o = c R (P–O)

O(X0,Y 0,Z 0)

o(U 0,V 0,f)

ZP(X,Y,Z)

−−−

333231

232221

131211

[ ][ ][ ])()()(

)()()(

033032031

023022021

013012011

ZZrYYrXXrc

−+−+−−+−+−−+−+−

=−=−=−

)()()( 033032031 ZZrYYrXXr

−+−+−−=

P(X,Y,Z)

O(X0,Y 0,Z 0)

p(U,V,0)

O(U0,V 0,f)

Zapišimo

p–o = c R (P–O)

v komponentni/matri čni obliki:

O(U0,V 0,0)

)()()(

033032031

0130120110 ZZrYYrXXr

ZZrYYrXXrfUU

−+−+−−+−+−−=−

)()()(

033032031

ZZrYYrXXrfVV

−+−+−−+−+−−=−

)( 00 vvVV v −=− λ

)( 00 uuUU u −=− λ

Diskretiziramo slikovni koordinati:

Velikost piksla ( λu, λv) - faktorja skaliranja –sta v horizontalni in v vertikalni smeri na splošno različna.

Vstavimo izraz za c v prvi dve ena čbi:

(u0, v0 ) = točka, kjer optična os prebada slikovno ravnino

)()()(

033032031

ZZrYYrXXrfuu

u −+−+−−+−+−−=−

)()()(

033032031

ZZrYYrXXrfvv

v −+−+−−+−+−−=−

Standardna in bolj pregledna oblika zapisa:

111109

++++++=ZLYLXL

LZLYLXLu

111109

++++++=

ZLYLXL

LZLYLXLv

Li (i = 1,2,...,11) so t.i. parametri DLT

Parametri DLTParametri DLT

rfruL uuu 13330

312320

211310

1 ,,−=−=−=

( ) ( ) ( )D

ZrurfYrurfXrurfL uuu 033013032012031011

−+−+−=

( ) ( ) ( )D

ZrvrfYrvrfXrvrfL vvv 033023032022031021

−+−+−=

rfrvL vvv 23330

722320

621310

5 ,,−=−=−=

9 ,, ===v

λλ== ,

)( 330320310 rZrYrXD ++−=

Ponazoritev izpeljave za Ponazoritev izpeljave za uu

)( 033032031333231

0130120111312110 ZrYrXrZrYrXr

ZrfYrfXrfZrfYrfXrfuu uuuuuu

++−++−−−++−=−

1333231

013012011131211

++−++−=−

ZrfYrfXrfZ

uuuuuu

0130120111312113332310

ZLYLXLD

ZrfYrfXrfZ

111109

0013012011133301232011310

++++−+−+−

=ZLYLXL

DuZrfYrfXrfZ

111109

++++++=ZLYLXL

LZLYLXLu

DLT + distorzija leDLT + distorzija le ččee

111109

++++++=∆+ZLYLXL

LZLYLXLuu

111109

++++++=∆+

ZLYLXL

LZLYLXLvv

• ∆∆∆∆u, ∆∆∆∆v: Distorzija le če (odvisna od u,v)

( ∆∆∆∆u, ∆∆∆∆v) = ( ∆∆∆∆u(u,v), ∆∆∆∆v(u,v))• Modeliranje distorzije prinese 1,2, ali

celo ve č dodatnih parametrov in

nelinearnost.

(Pravzaprav bi morali pisati u = ud+ ∆u)

2D primer2D primer

LYLXLu

LYLXLv

(Z = 0)

111109

++++++=ZLYLXL

LZLYLXLu

111109

++++++=

ZLYLXL

LZLYLXLv

3D -> 2D 2D -> 2D

• Kalibracija kamere (Angl. Camera Calibration)• Metoda 1 (DLT)

• Določitev parametrov preslikave• Rekonstrukcija - določanje koordinat točk v

prostoru.• Metoda 2 (Tsai)

Kalibracija - Metoda 1 (DLT)

DLT enaDLT ena ččbe (be ( šš e enkrat)e enkrat)

ZP(X,Y,Z)

O(X0,Y 0,Z 0)

p(u,v,0)

o(u 0,v 0,0)

O(U0,V 0,f)

111109

++++++=ZLYLXL

LZLYLXLu

111109

++++++=

ZLYLXL

LZLYLXLv

DLT parametriDLT parametri (( šš e enkrat)e enkrat)

rfruL uuu 13330

312320

211310

1 ,,:E1−=−=−=

( ) ( ) ( )D

4:E2−+−+−=

( ) ( ) ( )D

8:E4−+−+−=

rfrvL vvv 23330

722320

621310

5 ,,:E3−=−=−=

9 ,,:E5 ===v

λλ== ,

)(:E6 330320310 rZrYrXD ++−=

DLT kalibracijaDLT kalibracija

Iš čemo neznane vrednosti L i (i=1,2,....,11)

( ) 432111109 1 LZLYLXLZLYLXLu +++=+++

876511109 )1( LZLYLXLZLYLXLv +++=+++

uuZLuYLuXLLZLYLXL =−−−+++ 111094321

vvZLvYLvXLLZLYLXL =−−−+++ 111098765

111109

++++++=ZLYLXL

LZLYLXLu

111109

++++++=

ZLYLXL

LZLYLXLv

−−−−−−

vZvYvXZYX

uZuYuXZYX

• Enačbi točke: poznamo koordinate točke vprostoru in koordinati iste točke v slikovniravnini, iščemo neznane parametre modela.

• Vsaka točka prispeva dve enačbi. • Neznanih parametrov je 11.• Potrebujemo vsaj 6 “kontrolnih” oziroma

“kalibracijskih” točk.• V praksi jih vzamemo (čim)več.

⋅⋅⋅⋅⋅⋅

−−−−−−

⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅

−−−−−−−−−−−−

nnnnnnnnn

ZvYvXvZYX

ZuYuXuZYX

ZvYvXvZYX

ZuYuXuZYX

ZuYvXvZYX

ZuYuXuZYX

222222222

111111111

Matr i ka A

Vektor b

[ ][ ] [ ] [ ]

[ ] bAAA

bAAAAAAA

−−

• Iščemo rešitev predoločenega sistema enačb (več enačb kot neznank).

• Metoda najmanjših kvadratov.

DLT kalibracija, DLT kalibracija, XX00,, YY00,, ZZ00

4030201 LZLYLXL −=++

rfruL uuu 13330

312320

211310

1 ,,:E1−=−=−=

( ) ( ) ( )D

4:E2−+−+−=

( ) ( ) ( )0

133300

123200

113104 Z

rfruL uuu −−−−−−=

8070605 LZLYLXL −=++

( ) ( ) ( )0

233300

223200

213108 Z

rfrvL vvv −−−−−−=

( ) ( ) ( )D

8:E4−+−+−=

rfrvL vvv 23330

722320

621310

5 ,,:E3−=−=−=

101101009 −=++ ZLYLXL

9 ,,:E5 ===

)(:E6 330320310 rZrYrXD ++−=

01 ++=−

divide by D

101101009

8070605

4030201

−=++−=++−=++

ZLYLXL

LZLYLXL

−−−

DLT kalibracija, DLT kalibracija, uu00,, vv00

9 ,,:E5 ===

DLLL =++=++

Rotacijska matrika R = [rij] je ortogonalna matrika, RT R = I, (ohranja razdalje).

Zahtevamo ortogonalnost rotacijske matrike R

square, sum

9 ,,:E5 ===

rfruL uuu 13330

312320

211310

1 ,,:E1−=−=−=

Pogoji ortogonalnosti – ra čunamo uu00

03313321231112

11310291

))(())(())((

urrrrrrfrrru

DLDLDLDLDLDL

u =++−++=

multiply by D

9 ,,:E5 ===

Pogoji ortogonalnosti – za vv00

03323322231212

11710695

))(())(())((

vrrrrrrfrrrv

DLDLDLDLDLDL

v =++−++=

rfrvL vvv 23330

722320

621310

5 ,,:E3−=−=−=

Pogoji ortogonalnosti - uu00, vv00

011710695

011310291

))(())(())((

vDLDLDLDLDLDL

uDLDLDLDLDLDL

=++=++

1171069511710695

1131029111310291

LLLLLLLLLLLLDv

LLLLLLLLLLLLDu

++++=++=

DLLL =++

DLT kalibracija, DLT kalibracija, R=[R=[ rrijij]]

9 ,,:E5 ===

11331032931 ,, DLrDLrDLr ===

rfruL uuu 13330

312320

211310

1 ,,:E1−=−=−=

9 ,,:E5 ===

rfLuL uuu 13

110312

100211

901 ,, −=−=−=

)( 311013

210012

−=−=−=

9 ,,:E5 ===

rfLvL vvv 23

110722

100621

905 ,, −=−=−=

)( 711023

610022

−=−=−=

rfrvL vvv 23330

722320

621310

5 ,,:E3−=−=−=

fu in fv še ne poznamo

)( 311013

210012

−=−=−=

)( 711023

610022

−=−=−=

11331032931 ,, DLrDLrDLr ===

λλ== ,

DLT kalibracija, DLT kalibracija, fu in fv

Pogoji ortogonalnosti

1])()()[(

11 =−+−+−=++uf

LLuLLuLLuDrrr

1])()()[(

21 =−+−+−=++vf

LLvLLvLLvDrrr

])()()[( 23110

22 LLuLLuLLuDfu −+−+−=

])()()[( 27110

22 LLvLLvLLvDfv −+−+−=

DLT kalibracija, povzetekDLT kalibracija, povzetek

- Kalibracijski “vzorec” -> XXii ,, YYii ,, ZZii ,(i=1,...,N),(i=1,...,N)

ToToččke ne smejo biti koplanarne.ke ne smejo biti koplanarne.

ToToččke morajo dobro ke morajo dobro ““ pokritipokriti ”” delovni prostor.delovni prostor.

- Slika vzorca, obdelava -> uuii ,, vvii ,(i=1,...,N),(i=1,...,N)

- XXii ,, YYii ,, ZZii ,, uuii ,, vvii ,,LS metoda -> L1,...,L11

- L1,...,L11 -> XX00,, YY00,, ZZ00

- L1,...,L11, ortogonalnost -> uu00,, vv00

-L1,...,L11, uu00,, vv00, ⊥⊥⊥⊥ -> fu, fv

-L1,...,L11, uu00,, vv00, fu, fv ⊥⊥⊥⊥ -> R=[R=[ rrijij]]

Kalibracija,...Kalibracija,...

• Na točnost kalibracije direktno vpliva točnost kalibracijskega vzorca.Praktično pravilo: toleranca vzorca naj bo vsaj za velikostni razred boljša od zahtevane merilne točnosti.

• Kalibracijske točke naj bodo razporejene po vsem prostoru in take, da jih je moč detektirati (v sliki) zanesljivo in točno. Tipičenkalibracijski vzorec je kvader poslikan s šahovnico.

• Posnamemo lahko tudi več slik.

• Še enkrat povejmo:ko je sistem kalibriran, ne smemo ničesar več spreminjati.

Kalibracija,...Kalibracija,...

• Napako kalibracije se da ovrednotiti:

• V slikovnem prostoru: enostavno preslikamo kontrolne točke v sliko in izračunamo srednje kvadratično odstopanje izračunanih od izmerjenih vrednosti.Še bolje da uporabimo kontrolne točke, ki za kalibracijo niso bile uporabljene.

• V zunanjem prostoru: potrebna je rekonstrukcija.

DoloDolo ččanje anje XX,, YY,, ZZ

• Kamera je sedaj “kalibrirana”• Dokler ne spremenimo postavitve (obrnemo obroček na

objektivu, premaknemo kamero, ...

• Določanje položaja predmeta:• Poznamo parametre modela L• Poznamo slikovne koordinate u,v• Iščemo koordinate točk v prizoru X,Y,Z

• DLT model nam slika prostorske koordinate v slikovne.• Rabimo obratno preslikavo. • Kako?

PoloPolo žž aj predmeta aj predmeta XX,, YY,, ZZ

Ponovno obrnemo ena čbi DLT

111109

++++++=ZLYLXL

LZLYLXLu

111109

++++++=

ZLYLXL

LZLYLXLv

uuZLuYLuXLLZLYLXL =−−−+++ 111094321

vvZLvYLvXLLZLYLXL =−−−+++ 111098765

uLZuLLYuLLXuLL −=−+−+− 411310291 )()()(

vLZvLLYvLLXvLL −=−+−+− 811710695 )()()(

V matri čni obliki:

−−

−−−−−−

vLLvLLvLL

uLLuLLuLL

11710695

11310291

Vsaka to čka v sliki ( u,v)

prispeva dve ena čbi,

toda prinese tri neznanke (X,Y,Z)

Potrebujemo dodatne omejitve

ali ve č informacije

Pomaga ve č slik, ve č (m > 1) kamer

ene in iste to čke v prostoru.

( ) ( ) ( )( ) ( ) ( )

( )( )

−−

−−−−−−

vLLvLLvLL

uLLuLLuLL

vLLvLLvLL

uLLuLLuLL

11710695

11310291

11171106195

11131102191

Enačbe spet rešimo z metodo

najmanjših kvadratov

• “Postavimo” (kalibrirane) kamerePotrebujemo vsaj dve sliki (dve kameri)

• Posnamemo slike istega prizoraSedaj imamo več slik istega prizora

• Analiziramo slike (vsako zase) Določimo koordinate “pomembnih” točk v slikah

• Bistven problem: katere točke v teh slikah upodabljajo isto točko prizora?

Problem korespondence – stereo ujemanja (Corespondence problem)

• Stereo primerjanje (Stereo Matching)

Kalibracija - Metoda 2 (Tsai ‘85)

Tsai Tsai -- kalibracijakalibracija

0333231

01312110'

ZZrYrXr

XZrYrXrf

Ufuux u

u ++++++−=−=−=

0333231

02322210'

ZZrYrXr

YZrYrXrf

Vfvvy v

v ++++++−=−=−=

)()( 01312110232221 XZrYrXrfyYZrYrXrfx iiiuiiiivi +++=+++

Opomba: najprej zasuk, potem premik

)()( 01312110232221 XZrYrXrfyYZrYrXrfx iiiuiiiivi +++=+++

087654321 =−−−−+++ vyvZyvYyvXyvxvZxvYxvXx iiiiiiiiiiiiii

Vsaka to čka prispeva eno ena čbo

N to čk -> N ena čb

Xvrvrvrv

Yvrvrvrv

/08137126115

04233222211

=========

ααααα

−−−−

−−−−−−−−

NNNNNNNNNNNNNN yZyYyXyxZxYxXx

yZyYyXyxZxYxXx

........

........22222222222222

11111111111111

0v =A )7(,7)( >== Nrang A

SVD - Razcep na singularne vrednosti

A = U D V T -> Rešitev: v

v: stolpec matrike V za singularno vrednost v matriki D z vrednostjo 0.

],,,,,,,[v 01312110232221 XrrrYrrr ααααγ=

γγ =++=++ )( 223

21 rrrvvv

0,)( 213

25 >=++=++ αγααγ rrrvvv

Poznamo 1. in 2. vrstico matrike R

Dolo čimo 3. vrstico kot vektorski produkt prvih dveh

Poznamo rešitev do konstante

],,,,,,,[v 01312110232221 XrrrYrrr ααααγ=

Spet z metodo najmanjših kvadratov

rešimo predolo čen sistem (za N to čk)

Dolo čili smo rotacijsko matriko,

komponenti translacije X 0,Y 0,

manjkata nam še Z 0 in f u

)()( 01312110333231 XZrYrXrfZZrYrXrx iiiuiiii +++−=+++

Spet z metodo najmanjših kvadratov

rešimo predolo čen sistem (za N to čk)

)( 01312110333231 XZrYrXrfZxZrYrXrx iiiuiiiii +++−=+++

iiiiuiiii ZrYrXrxfXZrYrXrZx 33323101312110 )( ++=++++

ja ,2ja ,1 jb

)1()12()2( NxxNx bxA =

Dolo čili smo:

• rotacijsko matriko R,

• komponente translacije X 0,Y 0,Z 0

• ef. goriš čni razdalji f u,f v.

Dolo čimo še opti čni center:

• spet ve č možnosti

LiteraturaLiteratura

• http://kwon3d.com/theory/dlt/dlt.html

• E. Trucco, A. Verri, Introductory Techniques for 3D ComputerVision, Prentice Hall, 1998.

• M. Sonka, V. Hlavač, R. Boyle, Image Processing, Analysis, and Machine Vision, Thomson, 2008.

• R. Tsai, A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the shelf TV cameras and lenses, IEEE RA-3, No.4, 1987, p.323, 344.

• Z. Zhang, “A flexible new technique for camera calibration”,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330–1334, 2000.

Univerza v Ljubljani Iz vsebine - Machine Vision …...• Distorzija le če • Lens distortion...

Documents

Što u današnje vrijeme zanima djecu ?

1. MAŠINSKI ELEMENTI 2. OSNOVE PRORAČUNA NOSIVOSTI · Slika 2.9: Geometrijski faktor koncentracije napone za prelaz Slika 2.10: Geometrijski faktor koncentracije napone Na koncentraciju

4 Limes Niza Limes Monotonih Geometrijski Red Limes Funkcija

Geometrijski algoritmi - University of Belgradepoincare.matf.bg.ac.rs/~vesnap/kaa/10_kaa... · Geometrijski algoritmi Geometrijski algoritmi igraju važnu ulogu u mnogim oblastima,

ZANIMA VAS EKOLOGIJA DIVLJIH - sfsa.unsa.basfsa.unsa.ba/dokumenti/2019/Poster velike zvijeri obuka_PRINT.pdf · ZANIMA VAS EKOLOGIJA. DIVLJIH ZIVOTINJA. Otvoren je poziv za prijavu

Sklop aktivnosti geometrijski oblici - shapes aktivnosti... · Poticaj ovoj aktivnosti bila je priča ‘’Charlie baker-cookie maker’’ u kojoj se spominju osnovni geometrijski

Dizajn istraživačkog procesa - efos.unios.hr · •Odgovoriti na pitanje: Što vas zanima? •Odaberite područje koje vas iskreno zanima Područje istraživanja Tema istraživanja

Osnovni geometrijski pojmovi

Buđenje duša distorzija - vukovarka.hr · Buñenje duša distorzija 3 Otkrila sam “Buđenje duša distorzije” prilikom pregledavanja rukopisa ‘Eindeloos bewustzijn’ (eng:

Zanima te crtanje ili slikanje ili grafika ili fotografija

Geometrijski oblici na tekstilu - unizg.hr

Andrej Tarkovski-Zanima Me Problem Unutrašnje Slobode, Intervju

Buđenje duša distorzija - Fontana Svjetlostifontanasvjetlosti.weebly.com/uploads/1/0/8/7/10871687/budjenje_dusa... · Buñenje duša distorzija 2 Prvo izdanje 21. prosinac 2004

1-1-3 Geometrijski Elementi Puta

Budjenje dusa distorzija

Geometrijski niz · 2020. 5. 25. · Definicija: Geometrijski niz( geometrijska progresija) je niz brojeva takav da je količnik( q) svakog člana i njegovog prethodnog člana stalna

Kocka 6 ucb 02 osnovni geometrijski elementi internet

SMJERNICE ZA PROJEKTOVANJE, GRAĐENJE, Geometrijski elementi puta

Radialna distorzija leč

Geometrijski oblici u arhitekturi