Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

6. Modell illesztés, alakzatok

Kató Zoltán

Képfeldolgozás és Számítógépes Grafika tanszék

SZTE

(http://www.inf.u-szeged.hu/~kato/teaching/)

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

ROBOSZTUS EGYENES

ILLESZTÉS

2

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Egyenes illesztés

• Adott a síkban egy P1, P2,…, PN ponthalmaz

• Illesszünk rájuk egy egyenest úgy, hogy A pontok egyenestől vett négyzetes távolságának összege

minimális (geometriai hiba)

Az egyenest az egyenletével reprezentáljuk:

– (nx,ny) az egyenes normálvektora (egységvektor)

– Ha egy P pont nincs az egyenesen, akkor |r| a pont távolsága az egyenestől:

Túlhatározott egyenletrendszer megoldása (legkisebb négyzetes probléma):

– Minimalizáljuk:

3

1,0 22 yxyx nnynxnc

rynxnc yx

N

i

irr1

2

1és

1

1

1

222

1

22

11

yx

N

y

x

NN

nn

r

r

r

n

n

c

yx

yx

yx

rx

A

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Megoldás

• N nagy A sok sorból áll

A QR felbontásával (Q ortogonális, R felső trianguláris) egy

kisebb egyenletrendszert kaphatunk

Mivel a normát az ortogonális transzformáció nem

változtatja (hiszen csak elforgatás: ||QTr||=||r||), az

alábbi egyenletrendszert kapjuk:

4

1és

000

000

00

0

2233

2322

131211

yx

y

x nn

n

n

cR

RR

RRR

rQAxQQRATT

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Megoldás

• Mivel a nemlineáris mellékfeltétel csak 2 ismeretlent

tartalmaz, az alábbi feladatot kell megoldani:

Ez egy klasszikus LSE probléma: ||Bx||=min, és||x||=1.

– A minimum értéke B legkisebb szinguláris értéke

– A megoldás pedig az ennek megfelelő szinguláris vektor

– (nx,ny) B SVD felbontásából kapható meg

– c pedig ezek után az eredeti egyenletekbe való behelyettesítéssel adódik

5

1nn2

y

2

x

és0

0 33

2322

y

x

n

n

R

RR

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Kilógó adatok problémája (Outliers)

• Az LSE módszer feltételezi, hogy az adatpontjaink egy Gauss hiba erejéig jól illeszkednek a modellre Vagyis a pont koordináták nagyjából egy egyenesre esnek egy

korlátos szórással.

• Mit tehetünk, ha az adatpontokra nem teljesül ez a

feltétel?

• Kilógó adatok (outliers) — az adatpontok nem

ugyanahhoz a modellhez (egyeneshez) tartoznak: a

becslésünk hibás lesz

6

Line fitting using regression is

biased by outliers from Hartley & Zisserman

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Two samples and their supports

for line-fitting from Hartley & Zisserman

Robosztus becslés: RANSAC

• A becslést tekintsük egy két-lépéses eljárásnak: Osztályozzuk az adatpontjainkat kilógókra és illeszkedőkre

Illesszük a modellt az illeszkedőkre.

1. Vegyünk egy véletlen minimális mintát az adatpontokból, amire a modell illeszthető (a minta)

2. Az illesztett modelltől t távolságra levő ponthalmaz a konszenzus halmaz, melynek mérete a modell támogatottsága.

3. Ismételjük az eljárást N mintára a legnagyobb támogatottságú modell lesz a robosztus illesztés Ettől t távolságon kívül lévő pontok a kilógók A végső modellt az illeszkedő ponthalmazra határozzuk meg

7

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

RANSAC: t és N meghatározása

• t : általában empirikusan határozzuk meg

• N: határozzuk meg úgy, hogy p valószínúséggel

legalább egy minta tiszta illeszkedő (s pontot tartalmazó) adatpontokból álljon:

ahol annak a valószínűsége, hogy egy pont kilógó

• Tipikusan p = 0.99

8

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

RANSAC: példa (p = 0.99)

9

Sample

size Proportion of outliers

s 5% 10% 20% 25% 30% 40% 50%

2 2 3 5 6 7 11 17

3 3 4 7 9 11 19 35

4 3 5 9 13 17 34 72

5 4 6 12 17 26 57 146

6 4 7 16 24 37 97 293

7 4 8 20 33 54 163 588

8 5 9 26 44 78 272 1177

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Példa: robosztus egyenes illesztés

• n = 12 pont

• Minimális minta mérete s = 2

• 2 kilógó pont = 1/6 = 20%

• Tehát N = 5 99% valószínűséggel már ad legalább egy mintát, ami nem tartalmaz kilógó pontokat.

Ezzel szemben az összes lehetséges pontpár végigpróbálgatása N = 66 esetet jelentene.

10

from Hartley & Zisserman

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

N adaptív meghatározása

• Ha ismeretlen, akkor az alábbi módon meghatározhatjuk:

1. Legyen N=1 és =0.5 (legrosszabb eset)

2. Minden egyen mintára számoljuk meg az illeszkedő adatpontokat

3. Frissítsük a kilógó adatok arányát, ha kisebb mint az előző:

=1-(number of inliers) / (total number of points)

4. Állítsuk be N értékét a formula alapján

5. Ha az eddigi minták száma meghaladja N értékét stop

11

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

RANSAC és LSE

• RANSAC kiszűri a kilógó adatokat, és a végén egy olyan becslést ad, amely a legnagyobb támogatottságú minimális adathalmazra épül

• Ezt javíthatjuk, ha az így megtalált összes illeszkedő pontra egy LSE illesztést végzünk.

• Így azonban megváltozhat az illeszkedő pontok halmaza is Érdemes tehát alternálva kiszűrni a kilógó adatokat majd LSE

illesztéssel meghatározni a többi pontra illeszkedő modellt.

12

from Hartley & Zisserman

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

ALAKZATOK ÉS MINTÁK

DETEKTÁLÁSA

13

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Hough transzformáció

• Éldetektálás során csak élpontok halmazát kapjuk.

• Hogyan kereshetünk magasabb rendű struktúrákat, alakzatokat az élpontok halmazában?

• A Hough-transzformáció során a képen általában az f (x,y;a1,a2,…,an)=0 a1,a2,…,an paraméterekkel explicit alakban megadható görbéket keressük

• A Hough transzformáció alkalmazása célravezető, ha ismert alakú (és méretű) objektumokat keresünk a képen.

Akkor is, ha azok részben takartak vagy zajosak.

14

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Egyenesek detektálása

• Ekkor az input tér egy (xi,yi) pontjának az

r=xi·cosφ+yi·sinφ

szinuszoid görbe felel meg a Hough-térben.

• Az egy egyenesbe eső pontokhoz tartozó szinuszoid

görbék egy pontban metszik egymást.

15

input képtér Hough-tér

max0

20

rr

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Hogyan találjuk meg az egyeneseket?

• Egy (él)pont a képtérben megfelel egy szinusz görbének a Hough térben Két pontnak két görbe felel

meg

• Két (vagy több) ilyen görbe metszéspontja által reprezentált egyenesre ekkor kettő (vagy több) szavazat esett. Az így kapott egyenes

valamennyi rá szavazó ponton átmegy a képtérben.

• A Hough tér küszöbölésével megkapjuk a képtér egyeneseit

16

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Hough transzformáció algoritmusa

Create f and r for all possible lines

Create an array A indexed by f and r

for each point (x,y)

for each angle f

r = x*cos(f)+ y*sin(f)

A[f,r] = A[f,r]+1

end

end

where A > Threshold return the corresponding

line parameters

17

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Példa egyenesek detektálására

• A képen 5 egyenes található (4 oldal + 1 átló)

f

r

18

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

19

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

• Általános körök esetén az (a,b,r) Hough-tér 3-

dimenziós lesz:

ax2+by2=r2 → f (x,y,a,b,r)=ax2+by2-r2=0

Amennyiben pl. adott (konstans) r-sugarú kört keresünk, akkor

a paraméter-tér 2-dimenziósra csökken – a gyakorlatban ez

használatos

Körvonal detektálása

20

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

él-kép, amin ismert

sugarú kört keresünk

2D Hough-tér, ahol minden

élpontnak egy, a potenciális

középpontokat tartalmazó kör

felel meg

Körvonal detektálása

21

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

él-kép maximumhely(ek) a Hough-

térben → a detektált kör(ök)

középpontja(i)

Körvonal detektálása

22

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

(a) eredeti kép

(b) él-kép

(c) 2D paraméter

tér (adott

sugarú köröket

keresünk)

(d) detektált körök

az eredeti

képen

Példa körvonal detektálására

23

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Minták keresése képeken

• Az illesztési módszerekkel ismert tárgyakat, minták

előfordulásait keressük a képen.

24

minta

legjobb

illeszkedés

pozíciója

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

• A legegyszerűbb a normalizált kereszt-korreláció

alapján illeszteni

Az illesztési minta MxN méretű

A kép minden pontjára kiszámoljuk a mintával vett kereszt-

korreláció értékét az alábbi képlet alapján

x és y a minta illetve a kép viszgált pixeleit jelölik

1

0

1

0

21

0

1

0

2

1

0

1

0

,

)()(

)()(

),(M

i

N

j

yij

M

i

N

j

xij

M

i

N

j

yejdixij

xy

yx

yx

edr

Normalizált kereszt-korreláció (2D)

25

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

1. Számítsuk ki a mintának megfelelő

illeszkedési kritériumot minden helyre

(esetleg több méretre és irányra is) a képen.

2. Egy küszöbérték feletti lokális

maximumhelyek megadják a minta

előfordulási helyeit a képen.

Illesztési algoritmus

az illesztési minta

és a kép

a kereszt-korreláció

26

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

input kép

kereszt-korreláció kép,

(fehér: magas korreláció,

fekete: alacsony

korreláció)

illesztési minta

27

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

ahol f a feldolgozandó kép, h a keresendő

minta és V a képpontok halmaza,

2

),(

3

),(

2

),(

1

)),(),((1

1),(

),(),(1

1),(

),(),(max1

1),(

jihvjuifvuC

jihvjuifvuC

jihvjuifvuC

Vji

Vji

Vji

Alternatív illesztési kritériumok

28

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

• A képpiramisok itt is jól használhatóak:

A piramis struktúrával csökkenthető a műveleti komplexitás.

• Először egy durvább mintát illesztünk egy durvább

képen (kevesebb művelet).

• Utána már csak azokat az illesztéseket vizsgáljuk

finomabb felbontásban, amelyek kritériuma meghaladt

egy bizonyos küszöböt.

Hierarchikus illesztés

29

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

EGYSZERŰ ALAKZATJELLEMZŐK

30

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Befoglalóló téglalap

31

„álló” befoglaló téglalap minimális befoglaló téglalap

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

téglalap-szerű nem téglalap-szerű

az alakzat területének és a minimális

befoglaló téglalap területének a hányadosa

Rektangularitás (téglalap-szerűség)

32

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Fő- és melléktengely

33

főtengely: az

alakzaton belül haladó

leghosszabb egyenes

szakasz

melléktengely: az

alakzaton belüli, a

főtengelyre

merőleges leghosszabb

egyenes szakasz

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

a fő- és a melléktengely hosszaránya: d1/d2

d1

d2

Excentricitás

34

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Főtengely szöge (az alakzat iránya)

35

a főtengely és az x-tengely által bezárt szög

x

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

távolság. : -

határa, alakzat : -

alakzat, : -

:ahol

, max

d

S

S

qpdSDiamSqp

}),({)(,

Átmérő

36

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Kompaktság

37

kompaktság = (kerület)2 / terület

pl. kör: 4π ≈ 12.6

négyzet: 16

erősen kompakt gyengén kompakt

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

cirkularitás = 1 / kompaktság

= terület / (kerület)2

maximális a körre: 1/(4π) ≈ 0.08.

Cirkularitás (körszerűség)

38

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Momentumok

Az I kép (p+q)-adrendű (képi) momentumai

(p,q=0,1,2,…):

Az S bináris alakzat (p+q)-adrendű

(geometriai) momentumai:

39

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

bináris

tömegközéppont

tömegközéppont

többszintű képen

Súlypont

40

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Centrális momentumok

41

Az S bináris alakzat (p+q)-edrendű centrális

(geometriai) momentuma:

Az I kép (p+q)-adrendű centrális (képi)

momentuma:

Normalizált centrális momentumok:

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

0 és 1 közötti érték.

Excentricitás

42

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Főtengely szöge

43

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Affin invariáns momentumok

44

Kató

Zo

ltá

n:

Ipari

Kép

feld

olg

ozás

Felhasznált anyagok

• Palágyi Kálmán: Digitális Képfeldolgozás

/pub/Digitalis_kepfeldolgozas

• További források az egyes diákon megjelölve

45