Képregisztrációs eljárások

Orvosi képdiagnosztika

2017 ősz

• Két kép egymáshoz igazítása, illesztése

– Példák:

• Időbeli követés

• Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI, ...)

fúzió

• Műtét (menet közbeni felvétel előzetes felvétellel való

összevetése)

• Kép alapú egyéb beavatkozás (besugárzás beállítás... )

• Mozgás hatásának kompenzációja

• I1 és I2: referencia kép, új kép

• A regisztrációs eljárások elemei:

– Transzformáció, interpoláció, hasonlósági metrika, optimalizálási

algoritmus

Regisztráció célja

Regisztráció célja

Korábbi felvétel Későbbi, ellenőrző felvétel

Időbeli követés

Korábbi felvétel Egyszerű kivonás

Regisztráció célja

Időbeli követés

Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás

Regisztráció célja Időbeli követés

Korábbi merev regisztráció Későbbi rugalmas regisztrációval

elastic B-spline registration

Regisztráció célja

Időbeli követés

Korábbi merev regisztrációval Végső összehasonlítás

Regisztráció célja

Időbeli követés

• Fúzióra:

– MRI-CT, PET-CT

– CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor,

gyulladás

Regisztráció célja

Regisztráció célja

• Feltételezve, hogy a megfeleltetés ismert

keressük azt az f () és g() függvényt, hogy a két kép a lehető legjobban illeszkedjen (valamilyen kritérium értelmében)

• I2(x,y)=g (I1(f (x,y))

• f () – 2D képbeli transzformáció

• g() –1D intenzitás transzformáció

• Dimenzió:

• 2D-2D, 2D-3D, 3D-3D

• A regisztráció bázisa

– pontok vonalak, felületek, ...

• Geometriai transzformáció

– merev, nem merev

• Az interaktivitás mértéke

– teljesen automatikus, emberi közreműködés

• Optimalizáló eljárás

– hasonlóságmérték, hibafüggvény

– zárt forma, analitikus megoldás, iteratív megoldás

• Modalitás

– azonos

– különböző (multimodalitás)

• A regisztáció objektuma

– azonos, különböző (fúzió)

Regisztráció csoportosítása

Képbeli (sík) transzformációk

• Merev – Távolságtartó – egybevágósági transzformáció

• Nem merev – Merev + skálázás

– Affin: egyenestartó párhuzamosság megtartó

– Projektív: egyenestartó

– Perspektívikus

– Görbült, általános nemlineáris: globális polinom

– Görbült, általános nemlineáris: lokális polinom

– Általános nemlineáris: Spline, RBF, neuronháló

– ....

Merev Transzformáció skálázással

• Forgatás (R)

• Eltolás (t)

• Skálázás (s)

2

2

2

x

y

p1

1

1

x

y

p

2 1 p t sRp

cos( ) sin( )

sin( ) cos( )

R

1

2

s

s

s1

2

t

t

t

Műveletek sorrendje nem közömbös (ha s nem skalár).

Általában:

Izotróp skálázás: hasonlósági transzformáció

2 1 p t Rsp

Rs sR

T R R E

Affin transzformáció

• Forgatás

• Eltolás

• Skálázás

• Nyírás

• R elemeire (aij) nincs semmi megkötés azon kívül, hogy nem szinguláris

1

1

2221

1211

23

13

2

2

y

x

aa

aa

a

a

y

x

A párhuzamosok párhuzamosak maradnak, síkok/egyenesek síkok/egyenesek maradnak

2 1 p t Rp

Affin transzformáció

• Kiindulás: vegyünk egy euklideszi síkot.

• A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le.

• Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése.

– a) párhuzamos egyeneseket párhuzamos egyenesekbe képez

– b) parallelogrammát parallelogrammába képez

• A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.

Projektív transzformáció

• Megtartja az egyeneseket és a síkokat • (x1,y1) eredeti koordináták

• (x2,y2) transzformált koordináták

• aij együtthatók a kép és a síkok egyenleteiből számíthatók

• homogén lineáris transzformáció aij –kből képzett mátrixa nem szinguláris

11 1 12 1 13

2

31 1 32 1 33

a x a y ax

a x a y a

21 1 22 1 23

2

31 1 32 1 33

a x a y ay

a x a y a

1

2

1

T

Rp tp

v p

11 12

21 22

a a

a a

R

13

23

a

a

t31

32

a

a

v 33a

Összetett transzformációk görbült (nemlineáris) transzformációk

Globális polinomiális transzformáció Lehet többváltozós polinom is: Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában

( ) ( )( ) ( )x yT P x P y

, ,

1 2

1 , 1 1 , 1 1

, ,

I J I J

i j i j

i j i j

i j i j

x y x y

p c c

, 2I J

Oszcilláció elkerülése: szakaszonként polinomiális traszformáció: a tér particionálása négyszögletes tartományokra Minden i,j tartományra T transzformációt hajtunk végre, ahol P egy egyváltozás m-ed fokú polinom A négyszögletes tartományok határán a folytonosság, ill. a folytonos differenciálhatóság biztosítható: spline (gyakori: köbös spline, B-spline). Egyenletes csomopont elhelyezés mellett Egyváltozós B-splineok

Összetett transzformációk görbült (nemlineáris) transzformációk

, ,( ) ( )x y

i j i jT P x P y

0 1 2 30

0.2

0.4

0.6

0.8

1

0 0.5 1 1.5 20

0.2

0.4

0.6

0.8

1

0 1 2 30

0.2

0.4

0.6

0.8

1

0 1 2 3 40

0.2

0.4

0.6

0.8

1

egyébként0

ha1)(

)(1

)()(

1

1

1

11

jj

j

k

j-kj

jj

k

j-kj-

j-kj

k

IxxB

xBx

xBx

xB

N

iii

xgg1

x

Ij=(j-1j] a j-edik bemeneti intervallum

Többváltozós: tenzorszorzatttal:

• Általános folytonos nemlineáris transzformációk

• Tetszölegesen elhelyezett kontrolpontoknál is működik – Radiális bázisfüggvényes leképezés

– Szakaszonként lineáris

– Köbös

– Multikvadratikus, ha =1/2

– Inverz multikvadratikus, ha =2

– Thin plate spline

– Gauss

Összetett transzformációk görbült (nemlineáris) transzformációk

)

g r r

3g r r

2 2g r c r

2 2g r c r

2 lng r r r

Regisztrációs eljárások elemei

• Jellemzők meghatározása

• Hasonlósági mértékek definiálása

• Keresési stratégiák / optimalizálás végrehajtása

Jellemző alapú regisztráció

• Jellemzők:

– Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb.

– Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny)

– Intenzitás (a teljes képet felhasználja)

– Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek

– Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,

– ...

Regisztrációs módszerek

• Pont alapú

• Intenzitás alapú (Korreláció, stb)

• Fourier

Pont leképezés alapú regisztráció

• Referenciapontok meghatározása

• Referenciapontok: – anatómiai jelentéssel rendelkező pontok

– egyéb markerpontok: jól megkülönböztethető, azonosítható pontok

– Fontos a pontok minél pontosabb meghatározása (lokalizációs hiba)

– Interaktív bejelölés

– Automatikus kiválasztás

• Megfelelő transzformáció keresése a pontok megfeleltetéséhez

Regisztráció minősítése, kritériumfüggvény - egybevágósági:

Ortogonális Procrustes

Pont leképezés alapú regisztráció

Véletlen nulla várható értékű, izotróp eloszlású hiba

Regisztrációs algoritmusok

1. Pont alapú merev regisztráció (egybevágósági transzf):

Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint)

súlyok ahol

1. Súlyozott centroidok:

2. Középpont eltolás

3. Súlyozott kovarianciamátrix számítás

4.

5.

6.

22

1

1( , )

N

i i i

i

C wN

R t Rx t y 21

i

i

wFLE

2iFLE

2 2

1 1

1/

N N

i i i

i i

w wN

x x

lokalizációs hiba

2 2

1 1

1/

N N

i i i

i i

w wN

y y

; i i i i x x x y y y

2

1

N

T

i i i

i

w

H x y

1 2 1 2 ( , ) 0

(1,det( ))

T T T

T

diag

diag

H UΛV U U V V I Λ

R V VU U

t y Rx

Regisztrációs algoritmusok – Ortog.

Procrustes eljárás (1)

•

•

•

•

• Tehát

•

• Vegyük a SVD felbontást

• Tehát ortonormált mátrixok, pedig diagonális,

minden eleme nem negatív

2arg min . . T

F s t

S

R SA B S S I

2 TF Tr SA B SA B SA B SA B SA B

2T T T T TTr Tr SA B SA B A S SA B B B SA

2 , , 2 ,T T T TTr A S SA B B B SA A A B B B SA

arg max , . . T s t S

R B SA S S I

, , T T T T T TTr Tr Tr B SA SA B A S B BA S S BAT TBA UΛV

, ,U V S Λ

Regisztrációs algoritmusok – Ortog.

Procrustes eljárás (2)

• Tehát maximalizáljuk -t

– De ortonormált, míg diagonális

– Tehát

– Használjuk ki azt, hogy ortonormált, és

• Ott van a maximum, ahol

• Mivel ortonormáltak, ezért

• Tehát levezettük, hogy

– Másik megközelítésnél súlyozzuk a mintákat

– És az 5. pontban kikényszerítjük, hogy +1 legyen , azaz

forgatást kapjunk, egyébként analóg a két módszer

–

T T T TTr TrS UΛV V S UΛT T

V S U Λ

, ,T T T T

i i i ii

Tr V S UΛ V S UT T

V S U

T T V S U I

R N NΛ

,V U T TS VU TS UV

TR UV

det R

, ,..., , ,..., 1 2 M 1 2 MA x x x B y y y

Regisztrációs algoritmusok

2. Hasonlósági transzformáció

2

1

2

1

N

T

i i i

i

N

T

i i i

i

w

s

w

s

Rx y

x y

t y Rx

22

1

( , , )

N

i i i

i

C s w s

R t Rx t y

Keressük R, t és s értékeit, melyek mellett minimális: Legyen s=1 Határozzuk meg R-et az előző alg. 1.-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt

3. Nemizotróp skálázás

Regisztrációs algoritmusok

Keressük R, t és S értékeit, melyek mellett minimális:

Határozzuk meg az és középértékeket és az eltolt értékeket: Legyen n=1

Válasszunk kezdeti skálázási mátrixot S(0)

iteráció: - Legyen - Hajtsuk végre az 1. algoritmus 3.-5. lépéseit R meghatározására - n=n+1

- Határozzuk meg S(n)-t

- Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment

x y x y

( ) ( )n n

i ix S x

22

1

1( , , )

N

i i i

i

C wN

R t S RSx t y

• Korreláció

• A két kép 2D normalizált kereszt korrelációs függvénye

Hasonlóságot mér különböző eltolások esetén

A normalizálás a lokális

intenzitás hatásának

kiküszöbölésére kell

Intenzitás alapú eljárás

1 2

2

2

( , ) ( , )( , )

( , )

x y

x y

I x y I x u y vC u v

I x u y v

Korreláció tétel

• A két kép korrelációjának Fourier transzformáltja az

egyik kép Fourier transzformáltjának a szorzata a másik

Fourier transzformáltjának komplex konjugáltjával.

• Egydimenziós esetre a korreláció tétel

exp 2

exp 2 exp 2

z x t y t dt x t Y j t d dt

z Y x t j t dt j d

Z Y X

Fourier transzformáción alapuló módszerek

• Fázis-korreláció

• Kereszt teljesítmény spektrum

• Teljesítmény cepstrum

A Fourier transzformáción alapuló módszerek hatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk)

Ez is intenzitás alapú eljárás – lokális intenzitásváltozásokat képtelen követni.

Fázis korreláció alapú regisztráció eltolás

transzformáció identifikálására

• Egymáshoz képest eltolt képek transzformáció-jának identifikációja

– Eltolás modellezhető egy megfelelő helyen lévő dirac-deltával történő konvolúcióval.

–

– Tehát

– Vizsgáljuk meg a két jel kereszt teljesítmény spektrumát:

– Innen az eltolás már könnyen kiszámítható

• Lokális intenzitásváltozásokat nem képes figyelembe venni

0 0exp 2F x x j x

0 0exp 2F y x x x Y j x

0exp 2j x Y Y Y Y

1 10 0exp 2F j x F Y Y Y Y x x

Fázis korreláció alapú regisztráció elforgatás

transzformáció identifikálására

• Egy kép fokkal középpontja körüli elforgatása a kép spektrumát is ilyen mértékben forgatja el:

– Egyszerűen belátható a Fourier vetítősík tétel alkalmazásával

• Ampl. spektrum eltolás invariáns:

– Tehát ha az ampl. spektrum elfordulását meg tudnánk határozni, akkor kész lenne a regisztráció

– Az elforgatás az ampl. spektrum polár koordinátás felírása esetén megegyezik a vízszintes tengellyel bezárt szög szerinti cirkuláris eltolással

– Tehát visszavezettük a problémát az eltolás meghatározására

Fourier vetítősík tétel

Példa – Fourier regisztráció

100 200 300 400 500 600 700

100

200

300

400

500

600

700100 200 300 400 500 600 700

100

200

300

400

500

600

700

Példa – Fourier regisztráció

A két kép ampl. spektruma polárkoordinátás

ábrázolásban

50 100 150 200 250 300 350

100

200

300

400

500

600

700

800

900 -1

0

1

2

3

4

50 100 150 200 250 300 350

100

200

300

400

500

600

700

800

900 -1

0

1

2

3

4

theta theta

frekvencia

frekvencia

Fourier regisztráció példa

Hasonlóság mértékek

• Intenzitás alapú eljárásokhoz

• Kép különbségképzés: SSD sum of squares of intensity differences

• Korrelációs együttható

• Együttes sűrűségfüggvény

ahol Hist(j,k) a két kép együttes hisztogramja

1 2

2

2

( , ) ( , )( , )

( , )

x y

x y

I x y I x u y vC u v

I x u y v

2

1 2

1

1( ) ( )

N

i

SSD I i I iN

,

( , )( , )

( , )j k

Hist j kPDF j k

Hist j k

Együttes hisztogram

• MR-MR

• MR-CT

• MR-PET

illeszkedő kis elmozdulás nagyobb elmozdulás

Együttes hisztogram - fúziós regisztráció

Együttes hisztogram - fúziós regisztrációs

tökéletesen illeszkedő 2mm elmozdulás 5mm elmozdulás

képek az egyik képnél

Megfigyelés: a két kép tökéletes illesztésénél az együttes hisztogram a legélesebb

PET - CT

Hasonlóság mértékek

( ) log ( )s

H p s p s

Intenzitás alapú eljárásokhoz Entrópia Az együttes entrópia (minimalizálás) Kölcsönös információ (maximalizálás)

MI(I1, I2’) = H(I1)+H(I2’)-H(I1,I2’)

Kullback-Leibler divergencia

,

( , ) log ( , )j k

H PDF j k PDF j k

1 2

,

( , ') logij

ij

i ji j

pMI I I p

p p

1,

1 2 1,

2,

( , ') logi

i

ii

pKL I I p

p

Hasonlósági metrikák

• Normalizált keresztkorrelációs függvény

– Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a

korrelációtérben nagy csúcsot találni

• Korrelációs együttható

• Fázis korreláció

– Frekvenciafüggő zajra nem érzékeny

• Az intenzitáskülönbségek abszolút értékeinek összege

– Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést

lehet találni

• Kontúr/felszín különbségek

– Strukturális regisztráció esetén jó

• Előjelváltások száma a pontonkénti intenzitáskülönbségeknél

– Nem hasonló képeknél működik jól