59
Dinamička analiza 3D scena analiza kretanja u slikovnoj ravnini Siniša Šegvić i Zoran Kalafatić UniZg-FER ZEMRIS Dinamička analiza scena 1/59

analiza kretanja u slikovnoj ravnini - FERssegvic/ads/das1.pdf · Dinamička analiza 3D scena: Cycab 2007 Primjer: sustav za autonomnu navigaciju autonomna navigacija u urbanim sredinama

  • Upload
    others

  • View
    9

  • Download
    0

Embed Size (px)

Citation preview

  • Dinamička analiza 3D scenaanaliza kretanja u slikovnoj ravnini

    Siniša Šegvić i Zoran Kalafatić

    UniZg-FER ZEMRIS

    Dinamička analiza scena → 1/59

  • UvodDinamička analiza scena: podskup računalnog vida u kojem jerazumijevanje scene kontinuirani proces

    Česti zadatci:□ nepokretna kamera, pokretni objekti, nepokretna pozadina

    □ pokretna kamera, nepokretna scena

    □ pokretna kamera, pokretni objekti, nepokretna pozadina

    Izazovi s kojima se susrećemo:□ računska složenost, memorijski zahtjevi i stvarno vrijeme

    □ osvjetljenje, šum, ekspozicija, otvor objektiva

    □ nesavršenost opreme (rolling shutter, interlacing, izobličenja)

    □ scenario (nedostatak teksture, aliasiranje, pokretni objekti)Dinamička analiza scena → 2/59

  • Uvod (2)Kontekst (1):□ računalni vid

    □ zadatci:^ pronalaženje (objekti ili istaknute točke),

    ^ asociranje (podudaranje ili praćenje),

    ^ raspoznavanje (objekti ili slike)

    ^ geometrija više pogleda

    □ metode: rekonstrukcija i klasifikacija

    □ danas sve metode rješenje pronalaze optimizacijom!

    □ obrada slike: filtriranje, transformiranje, višerezolucijska analiza

    □ strojno učenje: klasifikacija, regresija

    Dinamička analiza scena → 3/59

  • Uvod (3)Kontekst (2):□ MATEMATIKA: algebra, analiza, probabilistički filtri, stohastički

    procesi, ...

    □ STATISTIKA: robusna procjena parametara, modeliranje razdioba,klasifikacija, ...

    □ programsko inženjerstvo

    □ umjetna inteligencija

    Dinamička analiza scena → (2) 4/59

  • Sadržaj:□ Uvod□ Motivacija: primjene dinamičke analize 3D scena□ Određivanje korespondencija u slikama

    □ pronalaženje značajki (Harris)□ analiza 2D kretanja (KLT)□ invarijantno podudaranje (SIFT)

    □ Geometrijski aspekti računalnog vida□ model stvaranja slike□ kalibriranje kamere□ geometrija jednog pogleda□ geometrija dvaju pogleda□ geometrija više pogleda

    □ Robusna estimacijaDinamička analiza scena → Sadržaj: 5/59

  • Primjene dinamičke analize scenaNajčešće pretpostavke:□ pokretna kamera (ili više kamera)

    □ najčešće vidljiv znatan dio nepokretne scene

    □ pokretni objekti otežavaju analizu(najčešće nisu interesantni per se)

    □ problemi: promjenljivo osvjetljenje, scene bez značajki,skalabilnost, pokretni objekti, pogreške pri detekciji i asocijaciji

    Elementi rješenja:□ 2D analiza (pronalaženje, podudaranje, praćenje, raspoznavanje)

    □ interni prikaz scene (statičan ili dinamičan)

    □ 3D interpretacija (kretanje kamere, struktura scene)

    Dinamička analiza scena → Primjene dinamičke analize scena 6/59

  • Dinamička analiza 3D scena: znakovi 2010Primjer: poboljšanje lokacijske točnosti detekcije praćenjemDetekcija trokutnih znakova u pojedinačnim slikama:

    □ izvrstan odziv: preko 90% znakovaje detektirano

    □ nedovoljna preciznost (89%)

    □ neprecizna lokalizacija

    Dinamička analiza scena → Dinamička analiza 3D scena: znakovi 2010 7/59

  • Dinamička analiza 3D scena: znakovi 2010Ideja: poboljšati rezultate integracijom odziva kroz veći broj slika□ pronaći konzistentnu trajektoriju s najvećim brojem potvrda

    □ zahtijevati geometrijsku prikladnost trajektorije

    Rezultati u slijedu slika:□ gotovo svi znakovi su pronađeni

    □ dvije krive detekcije u sekvenci sa 100000 slika

    □ lokalizacijska pogreška: 17%→12%Dinamička analiza scena → Dinamička analiza 3D scena: znakovi 2010 8/59

  • Dinamička analiza 3D scena: Cycab 2007Primjer: sustav za autonomnu navigaciju□ autonomna navigacija u urbanim sredinama vozilom Cycab

    □ odvojene faze učenja puta i navigacije

    □ koristi se isključivo kalibrirana perspektivna kamera!

    □ upravljanje u domeni slike (vizualno navođenje)□ rezultati:

    □ učenje 1 m/s, navigacija 2 m/s(preko 700m uspješne navigacije po javnoj prometnici)

    □ stanovita otpornost na ostale sudionike prometa te promjeneosvjetljenja

    □ duljina scene nije ograničena postupkom mapiranja(disk od 1TB dovoljan za 30000 km)

    Dinamička analiza scena → Dinamička analiza 3D scena: Cycab 2007 9/59

  • Dinamička analiza 3D scena: Cycab 20072D analiza:□ pronalaženje korespondencija invarijantnim deskriptorima (samo

    pri inicijalizaciji!)

    □ pronalaženje značajki (Harris)

    □ praćenje značajki (KLT)

    818

    20

    2122

    24

    28

    34

    39

    44

    52 53

    Dinamička analiza scena → Dinamička analiza 3D scena: Cycab 2007 10/59

  • Dinamička analiza 3D scena: Cycab 2007Interni prikaz scene:□ statičan, dobiven u fazi učenja

    □ organizacija: topologija lokalnih (metričkih) 3D rekonstrukcija

    □ metode: procjena relativne orijentacije, estimiranje strukture scenei kretanja kamere

    0

    A

    D

    E

    B

    C

    Dinamička analiza scena → Dinamička analiza 3D scena: Cycab 2007 (2) 11/59

  • Dinamička analiza 3D scena: Cycab 20073D interpretacija: predviđanje 2D položaja značajki koje trenutno nepratimo na temelju korespondencija sa slikama iz slijeda za učenje

    Dinamička analiza scena → Dinamička analiza 3D scena: Cycab 2007 (3) 12/59

  • Dinamička analiza 3D scena: ostali primjeri

    □ stereoskopska odometrija (2013/4)

    □ prostorno vremenski deskriptor STA (2011)

    □ povezivanje EuroRAP videa (2011)

    □ detekcija i raspoznavanje razdjelne linije (2010)

    □ stabilizacija videa pribavljenog iz zraka (2012)

    □ stvaranje mozaika ceste (2010)

    □ estimiranje OD matrica (2012)

    Dinamička analiza scena → Dinamička analiza 3D scena: ostali primjeri 13/59

  • Detekcija značajkiZnačajka: istaknuti dio slike□ izgled i položaj prepoznatljivi iz različitih dijelova scene

    (kut, blob, ...)

    □ zbog efikasnije implementacije, najčešći kvadratni oblik(koriste se i pravokutnici, paralelogrami, krugovi, ...)

    veličina značajke: kompromis između otpornosti na zaklanjanje ineprepoznatljivosti

    svojstveno mjerilo i rotacija: noviji koncept, problemi u stvarnomvremenu (GPGPU!)

    Dinamička analiza scena → Detekcija značajki 14/59

  • Detekcija značajkiHarrisovi kutevi: unatoč poodmakloj dobi (1988), jedan odnajefikasnijih pristupa s fiksnim mjerilom

    Ideja: pronaći točke qzn koje maksimiraju lokalnu prepoznatljivostsusjedstva zadane veličine

    Promotrimo ``autokorelacijsku funkciju'' (zapravo SSD):Eq(d) =

    ∑x,y∈W(q)[I(x + dx,y + dy) − I(x,y)]2

    Eq(d): različitost susjedstva točke q, u ovisnosti o pomaku dDinamička analiza scena → Detekcija značajki 15/59

  • Detekcija značajki

    Ideja: značajke su u točkama gdje Eq raste u svim smjerovima!

    Tražimo kriterij koji će otkriti točke q(xzn,yzn) gdje to vrijedi.

    Rezultat: U svakoj točki slike računa se matrica G□ G sadrži lokalne iznose momenata drugog reda gradijenta slike

    G(q) =[ ∑

    W I2x∑

    W IxIy∑W IxIy

    ∑W I2y

    ]=

    [a cc b

    ](1)

    Harrisov odziv r sada je: r(q) = ab − c2 − k(a + b)2

    Konačno, značajke su u lokalnim maksimumima odziva:qzn = maxqr(q)

    Dinamička analiza scena → Detekcija značajki (2) 16/59

  • Detekcija značajkiIzvod Harrisove formule

    Zapišimo E u vektorskom obliku:

    Eq(d) =∑

    x,y∈W(q)[I(x + dx,y + dy) − I(x,y)]2

    =∑

    qi∈W(q)[I(qi + d) − I(qi)]2

    Dinamička analiza scena → Detekcija značajki (3) 17/59

  • Detekcija značajkiIzvod Harrisove formule (2)

    Razvijmo I(qi + d) po Tayloru oko qi:

    Eq(d) =∑

    qi∈Wq[I(qi + d) − I(qi)]2

    ≈∑

    qi∈W[I(qi) + ∇I(qi) · d − I(qi)]2

    Eq(d) ≈∑

    qi∈W[g⊤d]2 =

    ∑qi∈W

    d⊤(gg⊤)d

    = d⊤ · G · d, gdje je G =∑W

    gg⊤

    Podsjetnik: ∇I(qi) = g⊤ = [Ix(qi), Iy(qi)]

    Dinamička analiza scena → Detekcija značajki (4) 18/59

  • Detekcija značajkiIzvod Harrisove formule (3)

    Matrica G je realna i simetrična pa se može dijagonalizirati:

    G =[ ∑

    W I2x∑

    W IxIy∑W IxIy

    ∑W I2y

    ]= R⊤DR, gdje je R =

    [r⊤1r⊤2

    ]

    Sada kriterijsku funkciju možemo izraziti ukoordinatama koje su poravnate s lokalnomstrukturom slike:

    Eq(d) = d⊤ · G · d = d⊤R · D · dR,dR = R · d = [r⊤1 d,r⊤2 d]⊤

    Dinamička analiza scena → Detekcija značajki (5) 19/59

  • Detekcija značajkiIzvod Harrisove formule (4)U novim koordinatama, doprinosi komponenti pomaka nezavisnoutječu na kriterijsku funkciju E!

    Eq(d) = d⊤ · G · d = dR⊤ · D · dR

    = dR⊤ ·[λ1 0

    0 λ2

    ]· dR

    = λ1d2R1 + λ2d2R2= λ1(r⊤1 d)2 + λ2(r⊤2 d)2

    Slika se lokalno brzo mijenja u svim smjerovima ⇔ λ1, λ2 veliki!

    Dinamička analiza scena → Detekcija značajki (6) 20/59

  • Detekcija značajkiHarrisov odziv ``nagrađuje'' točke u kojima su veliki i λ1 i λ2:

    G =[ ∑

    W I2x∑

    W IxIy∑W IxIy

    ∑W I2y

    ]=

    [a cc b

    ]r = ab − c2 − k · (a + b)2 k ∈ [0.04,0.07]= det(G) − k · (tr2(G)= λ1λ2 − k · (λ1 + λ2)2

    Konačni rezultat su lokalni maksimumi odziva

    Potiskivanje ne-maksimalnih odziva dovodi do dobre lokalizacijeznačajki

    Dinamička analiza scena → Detekcija značajki (7) 21/59

  • Detekcija značajki

    Broj značajki (a), lokalizacija (b), te uspješnost uparivanja (c):

    [tissainayagam04imavis]Dinamička analiza scena → Detekcija značajki (8) 22/59

  • Detekcija značajkiOblik funkcije odziva:

    r = λ1λ2 − k · (λ1 + λ2)2

    0 2 4 6 8 100

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    0 2 4 6 8 100

    5

    10

    −20

    0

    20

    40

    60

    80

    100

    Dinamička analiza scena → Detekcija značajki (9) 23/59

  • Detekcija značajkiOblik funkcije odziva (2):

    r = λ1λ2 − k · (λ1 + λ2)2

    Dinamička analiza scena → Detekcija značajki (10) 24/59

  • Detekcija značajkiDetalji:

    □ težinska funkcija? G = ∑W w(x,y) [ I2x IxIyIxIy I2y]

    □ derivacijsko i integracijsko mjerilo?

    Svojstva:□ odziv (pa onda i maksimum) invarijantan na rotaciju slike!

    □ dobra ponovljivost i lokalizacija rezultata(barem za jednostavne značajke)

    □ problem: odziv nije invarijantan na mjerilo!Alternative:

    □ FAST (brži); DoG, MSER, SURF (invarijantni na mjerilo, sporiji)Dinamička analiza scena → Detekcija značajki (11) 25/59

  • Praćenje značajkiCilj: odrediti kretanje zadane značajke kroz slijed slika□ čest kontekst: stvarno vrijeme, 3D rekonstrukcija traži se i

    efikasnost i preciznost!Dva pristupa:□ praćenje podudaranjem (matching) --- uparivanje nezavisno

    pronađenih značajki, primjenom načela bliskosti□ podudaranje primjenom NCC, SSD, ...

    □ diferencijalno praćenje (gradijentna optimizacija)□ kombinacija (grubi položaj: uparivanje; fini položaj: diferencijalno

    praćenje)Predikcija trenutnog položaja može biti velika pomoć:□ 2D predikcija je OK, ali ne pomaže u drugom okviru!□ agresivniji postupci (SLAM, PTAM) predikciju temelje na 3D

    modelu gibanja i sceneDinamička analiza scena → Praćenje značajki 26/59

  • Praćenje značajkiDiferencijalno praćenje:□ položaj (i oblik) značajke izražavamo parametrima p

    □ transformirana značajka: IW(x,p) = I(W(x;p))□ npr. IW(x,p) = I(x + p)

    □ pretpostavka: početni oblik i položaj približno poznati□ početna aproksimacija: IW(x,p0)

    □ tražimo p koji minimizira SSD s referentnim izgledom IR:

    ∆̂p = arg min∆p

    ∑x(IW(x,p +∆p) − IR(x))2

    □ IR može pribavljena u prethodnoj slici, prvoj slici, u nekom drugomeksperimentu, ili može biti sintetizirana

    □ rješenje se temelji na iterativnoj gradijentnoj optimizaciji(Lucas-Kanade, 1981)

    Dinamička analiza scena → Praćenje značajki 27/59

  • Praćenje značajkiAlgoritam:□ razvijamo IW(x,p) po Tayloru, u ovisnosti o ∆p:

    IW(x,p +∆p) ≈ IW(x,p) +∂IW∂p (x,p) ·∆p

    □ izražavamo skalarni rezidual (funkciju cilja):

    R(∆p) =∑

    x∥IW(x,p +∆p) − IR(x)∥

    =∑

    x∥IW(x,p) +

    ∂IW∂p (x,p) ·∆p − IR(x)∥

    □ zbog jednostavnosti, uvodimo novu notaciju:

    R(∆p) =∑

    x∥e + g⊤∆p∥

    Dinamička analiza scena → Praćenje značajki (2) 28/59

  • Praćenje značajkiAlgoritam (2):□ Tražimo ∆p koji minimizira rezidual kvadrirane L2 norme:

    ∆p̂ = min∆pR(∆p) = min∆p∑

    x(e + g⊤∆p)2

    □ minimum dobivamo izjednačavanjem derivacije s nulom:

    ∂R(∆p̂)∂∆p̂ =

    ∑x

    2 · (e + g⊤∆p̂) · g⊤ = 0⊤

    □ rezultat iteracije (optimalni ∆p) rješenje linearnog sustava:∑x

    ge +∑

    xgg⊤∆p̂ = 0

    Dinamička analiza scena → Praćenje značajki (3) 29/59

  • Praćenje značajkiAlgoritam (3):□ Iteriranje se prekida kad:

    □ ili poboljšanje ∥∆p̂∥ postane beznačajno,

    □ ili novi položaj bude izvan slike,

    □ ili matrica ∑x gg⊤ postane slabo kondicionirana (Harris!)□ postupak je općenit, može se primijeniti za razne transformacije:

    □ translacija (2DOF): IW(x,p) = I(x + p)

    □ geometrijska afina transformacija (6DOF):IW(x,p) = I(A(p) · x + d(p))

    □ fotometrijska afina transformacija (2DOF): IW(x,p) = λI(x) + δ

    Dinamička analiza scena → Praćenje značajki (4) 30/59

  • Praćenje značajkiImplementacija (Shi-Tomasi '94):□ prvo izvesti translatorno praćenje u odnosu na pojavljivanje

    značajke u prethodnoj slici: I1R(x) = Ii−1(x,pi−1), p = (x,y)

    □ zatim poboljšati rezultat afinim praćenjem u odnosu na izgled pridetekciji: I2R(x) = I0(x,p0), p = (x,y, ϕ,m, ...)

    □ odustati od praćenja ako ∥R(∆p)∥ > rTH

    Dinamička analiza scena → Praćenje značajki (5) 31/59

  • Praćenje značajkiImplementacija za slike pribavljene iz vozila u pokretu (1)□ pretpostavka: perspektivne slike, kretanje unaprijed

    (afinih izobličenja i rotacije uglavnom nema)

    □ transformacija s 5 SS:

    IW(x,p) = λ · I(m · x + d) + δ = U(I(T(x,q)),r)

    □ p = (q,r), q = (m,d), i r = (λ, δ).

    □ U(IT, [λ, δ]⊤) = λ · IT + δ (IT ... siva razina piksela)

    □ T(x, [m,d⊤]⊤) = m · x + d (x ... položaj piksela)

    Dinamička analiza scena → Praćenje značajki (6) 32/59

  • Praćenje značajkiImplementacija za slike pribavljene iz vozila u pokretu (2)□ transformacija s 5 SS:

    IW(x,p) = λ · I(m · x + d) + δ = U(I(T(x,q)),r)

    □ za generalnu formulaciju moramo odrediti ∂IW∂p = [∂U∂q

    ∂U∂r ]

    □ određujemo drugi član uz pokrate IT = I(xT), xT := T(x,q):∂U∂r (IT,r) =

    [IT 1

    ]□ prvi član je malo zahtjevniji (uvodimo IxT =

    ∂I∂x(xT))

    ∂U∂q (IT,r) =

    ∂U∂I (IT,r) ·

    ∂I∂T(xT) ·

    ∂T∂q (x,q)

    = λ · IxT ·[

    x1 1 0x2 0 1

    ]= λ

    [IxTx I

    x1T I

    x2T

    ]Dinamička analiza scena → Praćenje značajki (7) 33/59

  • Praćenje značajkiImplementacija za slike pribavljene iz vozila u pokretu (3):□ Konačno, dobivamo izraz za g:

    g⊤ =[λIxTx λI

    x1T λI

    x2T IT 1

    ](2)

    □ Dobiveni izraz koristimo u općenitom iterativnom postupku:∑x

    ge +∑

    xgg⊤∆p̂ = 0

    Dinamička analiza scena → Praćenje značajki (8) 34/59

  • Praćenje značajki

    Rezultati: pouzdano praćenje u dugim nizovima slika

    818

    20

    2122

    24

    28

    34

    39

    44

    52 53

    59

    30

    59

    Dinamička analiza scena → Praćenje značajki (9) 35/59

  • Praćenje značajki

    Rezultati: tolerancija velikih pomaka (višerezolucijska obrada)

    5

    10

    1113

    15

    17

    19

    20

    25

    26

    28

    31

    32

    33

    38

    39

    56

    62

    63

    69

    70

    71

    74

    76

    78

    80

    81

    82

    84

    86

    88

    92

    9597

    5

    10

    1113

    15

    17

    19

    20

    25

    26

    28

    31

    32

    33

    38

    39

    56

    62

    63

    69

    70

    71

    74

    76

    78

    80

    81

    82

    84

    86

    88

    92

    9597

    Dinamička analiza scena → Praćenje značajki (10) 36/59

  • Praćenje značajkiRezultati: izbjegavanje aliasinga uzorkovanjem transformirane slike naprikladnoj razini rezolucijske piramide

    reference warped feature, m=1.8 warped feature, m=1.8pyramid level 1 pyramid level 1 pyramid level 2

    Dinamička analiza scena → Praćenje značajki (11) 37/59

  • Praćenje značajkiProblemi:□ odlazak u krivi lokalni minimum uslijed akumulirane pogreške□ značajka može ``preskočiti'' na neki drugi dio scene uslijed:

    □ zaklanjanja praćenog dijela scene

    □ neprikladne 3D strukture praćenog dijela scene

    31

    17 38

    104

    14351

    94

    48

    tony4:1-220

    Rt:23.1 Ra:23.1

    l2:96.2

    [0.7,58.3]

    [1.0] Rt:18.2 Ra:18.2

    l2:14.9

    [0.5,128.0]

    [2.3]

    #17@tony4:190 #31@tony4:205

    Rt:20.8 Ra:20.8

    l2:21.4

    [0.7,51.0]

    [1.2] Rt:13.8 Ra:13.8

    l2:4.7

    [0.9,34.0]

    [0.7]

    #38@tony4:55 #104@tony4:56

    Dinamička analiza scena → Praćenje značajki (12) 38/59

  • Praćenje značajkiDiskusija:□ glavni doprinos diferencijalnog praćenja: podpikselska preciznost

    □ preliminarni rezultati na KITTI-ju: funkcija cilja vizualne odometrije25%↓

    □ postupci temeljeni na podudaranju vjerojatno nude boljuperformansu na razini piksela

    □ zanimljivo rješenje: hibridni postupci

    Dinamička analiza scena → Praćenje značajki (13) 39/59

  • Praćenje značajki, implementacijaOriginalna slika, zaglađena slika i komponente gradijenta:

    Dinamička analiza scena → Praćenje značajki, implementacija 40/59

  • Praćenje značajki, implementacijaProvjera poravnavanja derivacija s originalnom slikom:

    Dinamička analiza scena → Praćenje značajki, implementacija 41/59

  • Praćenje značajki, implementacijaPostupak konvergencije za model s 2DOF:

    Dinamička analiza scena → Praćenje značajki, implementacija (2) 42/59

  • Praćenje značajki, implementacijaPostupak konvergencije za model s 8DOF:

    Dinamička analiza scena → Praćenje značajki, implementacija (3) 43/59

  • Praćenje značajki, implementacijaTočnost aproksimacije posmaka Taylorovim razvojem prvog reda:

    0 5 1 0 1 5 2 0− 0 .2

    0 .0

    0 .2

    0 .4

    0 .6

    0 .8

    1 .0

    1 .2

    0 5 1 0 1 5 2 0− 0 .2

    0 .0

    0 .2

    0 .4

    0 .6

    0 .8

    1 .0

    1 .2

    Grafovi prikazuju originalni signal (crtkano), posmaknuti signal(crveno), i aproksimaciju prvog reda (plavo).

    Posmak iznosi 0.5 piksela (lijevo) odnosno 1 piksel (desno).

    Dinamička analiza scena → Praćenje značajki, implementacija (4) 44/59

  • Praćenje značajki, implementacijaTočnost aproksimacije posmaka Taylorovim razvojem prvog reda:

    Posmak iznosi 0 piksela (lijevo), 1 piksel (sredina) odnosno 5 piksela(desno).

    Dinamička analiza scena → Praćenje značajki, implementacija (5) 45/59

  • Podudaranje značajkiCilj: Odrediti korespondenciju međusobno razmaknutih pogleda(wide-baseline matching)□ različiti smjerovi gledanja (oblik!)

    □ različita udaljenost kamera od scene (mjerilo!)

    [Mikolajczyk04]Dinamička analiza scena → Podudaranje značajki 46/59

  • Podudaranje značajkiŠto fali Harrisu?:□ vidjeli smo da je odziv rotacijski invarijantan, ...

    □ ali ne i invarijantan na mjerilo!

    Dinamička analiza scena → Podudaranje značajki 47/59

  • Podudaranje značajkiRobusni postupci moraju analizirati sliku u prostoru mjerila(scale-space)!

    [Lindeberg08]Dinamička analiza scena → Podudaranje značajki (2) 48/59

  • Podudaranje značajkiKako odrediti značajke u prostoru mjerila??Lindeberg: promatrati evoluciju blobova na različitim mjerilima

    [Lindeberg03]Dinamička analiza scena → Podudaranje značajki (3) 49/59

  • Podudaranje značajki50 najvažnijih blobova u prostoru mjerila:

    [Lindeberg03]

    Dinamička analiza scena → Podudaranje značajki (4) 50/59

  • Podudaranje značajkiKriterij svojstvenog mjerila regije: ekstrem normalizirane divergencijegradijenta izglađene slike E(σ) = σ ▽ ▽[Gσ(x,y) ∗ f(x,y)]

    Vidimo da se to svodi na odziv funkcije LoG u originalnoj slici:

    ▽ ▽ [Gσ(x,y) ∗ f(x,y)] = [△Gσ(x,y)] ∗ f(x,y) = LoGσ ∗ f(x,y)

    Podsjetnik:

    △= ▽ · ▽ = ∂2

    ∂x2 +∂2

    ∂y2 Gσ(x,y) =1

    √2πσ2

    e−x2+y22σ2 ,

    LoG △= ∂2

    ∂x2Gσ(x,y) +∂2

    ∂y2Gσ(x,y) =x2 + y2 − 2σ2

    σ4e−(x2+y2)/2σ2

    Dinamička analiza scena → Podudaranje značajki (5) 51/59

  • Podudaranje značajkiIdeja: svojstveno mjerilo strukture slike kao ekstrem odziva LoG

    [Lindeberg08] Dinamička analiza scena → Podudaranje značajki (6) 52/59

  • Podudaranje značajkiAnalogija:

    (zaglađena) slika potencijalgradijent slike polje

    divergencija gradijenta naboj

    Svojstveno mjerilo σ:□ koliko susjedstvo treba smanjiti da postane što sličnije izdvojenom

    pikselu na kontrastnoj podlozi?

    Dinamička analiza scena → Podudaranje značajki (7) 53/59

  • Podudaranje značajkiZašto to radi?: LoG daje ekstremni odziv na blobu prilagođene veličine

    −5

    0

    5

    −5

    0

    5

    −1

    −0.5

    0

    0.5

    Dinamička analiza scena → Podudaranje značajki (8) 54/59

  • Podudaranje značajkiJoš jedan primjer:

    Dinamička analiza scena → Podudaranje značajki (9) 55/59

  • Podudaranje značajkiOkvirni postupak:

    1. pronaći istaknute točke slike (keypoint extraction)

    2. dodijeliti orijentaciju, odrediti deskriptor

    [Mikolajczyk08]

    Dinamička analiza scena → Podudaranje značajki (10) 56/59

  • Podudaranje značajkiSIFT: "scale invariant feature transform"

    1. aproksimirati LoG funkcijom DoG

    2. orijentacija: maksimum u histogramu gradijenta

    3. deskriptor: vektor elemenata histograma gradijenta u kvadratnimćelijama poravnate značajke prikladnog mjerila

    DoG △= Gσ1 − Gσ2 =1

    √2π

    [1

    σ1e−(x2+y2)/2σ21 − 1

    σ2e−(x2+y2)/2σ22 ]

    Dinamička analiza scena → Podudaranje značajki (11) 57/59

  • Podudaranje značajkiSIFT descriptor

    [Lowe2004]

    Dinamička analiza scena → Podudaranje značajki (12) 58/59

  • LiteraturaB.D. Lucas i T. Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, u Proc. of IJCAI,674--679, 1981.

    C. Harris i M.J. Stephens, A Combined Corner and Edge Detector, u Proceedings of the Alvey Vision Conference,147--152, 1988.

    Jianbo Shi i Carlo Tomasi, Good Features to Track, u Proc. of CVPR, 593--600, Seattle, Washington, lipanj 1994.

    Andrew Davison, Real-Time Simultaneous Localisation and Mapping with a Single Camera, u Proc. of ICCV, 1403--1410,Nice, France, listopad 2003.

    Siniša Šegvić, Anthony Remazeilles i François Chaumette, Enhancing the Point Feature Tracker by Adaptive Modelling ofthe Feature Support, u Proc. of ECCV, Springer LNCS, 112--124, Graz, Austria, svibanj 2006.

    B. Leibe, N. Cornelis et al., Dynamic 3D Scene Analysis from a Moving Vehicle, u Proc. of CVPR, Minneapolis, Minnesota,lipanj 2007.

    Siniša Šegvić, Anthony Remazeilles et al., A scalable mapping and localization framework for robust appearance-basednavigation, Comput. Vis. Image Underst., 113(2):172--187, veljača 2009.

    Dinamička analiza scena → Literatura 59/59