Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
Spektrale Farbkorrektur mittels linearer SchätzverfahrenSpectral Color Correction based on Linear Estimatio n
Dr. rer. nat. Christian Mü[email protected]
Fraunhofer Institut für Integrierte Schaltungen, Erlangen
Abteilung für Bildverarbeitung und Medizintechnik
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Inhalt
• Motivation
• Spektrale Farbkorrektur
• Evaluierung
• Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Inhalt
• Motivation
• Spektrale Farbkorrektur
• Evaluierung
• Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Farbbilder in medizinischen Anwendungen
MikroskopieOral-Photographie Endoskopie
Dermatoskopie
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Gewebeklassifikation – Verfahren
Lc
c
c
⋮
2
1
Original Korrigiert TrainingROI Merkmale
Bild-aufnahme
Vorver-arbeitung
Segmen-tierung
Klassifi-kation
Merkmals-Extraktion κ
Spektrale Farbkorrektur
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Inhalt
• Motivation
• Spektrale Farbkorrektur
• Evaluierung
• Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Lineares Bildentstehungsmodell
( )
11
)(1)(
)(I
)(
)(
~
)()()(
××××
−
=
=
= ∫
LLLT
KLK
kk
kk
ρFρ
dsERtρ
sERρ
en λλλλ
-1000
0
1000
2000
3000
4000
5000
6000
7000
8000
400 450 500 550 600 650 700
Sen
sitiv
ity R
0
Wavelength [nm]
Linear Transformed Sensor Sensitivity
RGB
-0.0005
0
0.0005
0.001
0.0015
0.002
0.0025
0.003
400 450 500 550 600 650 700
Inte
nsity
Wavelength [nm]
Illumination Spectrum Estimation
OriginalConstrained PE
0
0.2
0.4
0.6
0.8
1
400 450 500 550 600 650 700
Re
flect
ivity
S
Wavelength [nm]
Surface Spectrum Estimation
OriginalReconstructed
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Spektrale Farbkorrektur - Überblick
• Ermittlung der Linearisierungsfunktion
• Schätzung der Sensor-Empfindlichkeiten
• Schätzung des Beleuchtungsspektrums
• Schätzung der Oberflächenreflektivität
• Rendering der Farbwerte
( ))()( ~ kk F ρρ =
?ˆ =R
?ˆ U =E
?ˆ =s
( ) sERρ ˆCC T=
1. Kalibrierung (Einmalig)
2. Beleuchtungs-Schätzung(Pro Serie)
3. Farbkorrektur(Pro Pixel)
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Bestimmung der Sensor-Nichtlinearität
IT8.7-Target 12 Graufelder (A16-L16) Bekannte Oberflächenreflektivitäten
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 5 10 15 20 25 30
Sur
face
Ref
lect
ance
S
Wavelength Index l
Gray Patch Reflectance
S1S2S3S4S5S6S7S8S9
S10S11S12
Mean(S1)Mean(S2)Mean(S3)Mean(S4)Mean(S5)Mean(S6)Mean(S7)Mean(S8)Mean(S9)
Mean(S10)Mean(S11)Mean(S12)
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Korrektur der Sensor-Nichtlinearität (Hardeberg ´01)
nρnρ
nρnρnρnρ
nb
nρnρ
nρnρ
na
nn
nn
ρρρ
bρasρ
,G~
1,G~
1,Glog,G~
,Glog1,G~
,G~
1,G~
,Glog1,Glog
1,G,G~~~
}~exp{
−+
+−+=
−+
−+=
+≤<
+=
[Hardeberg 2001]
Spektrale Farbkorrektur mittels linearer Schätzverfahren
0
50
100
150
200
250
300
0 50 100 150 200 250 300
Line
ariz
ed R
espo
nse
Response
Linearization Characteristic
CharacteristicReference
Linearisierungs-Charakteristik
Stückweise linear (s=4.0)
0
50
100
150
200
250
300
0 50 100 150 200 250 300
Line
ariz
ed R
espo
nse
Response
Global Linearization Characteristic
CharacteristicReference
Globaler Ansatz
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Sensorkalibrierung - Farbreferenz
IT8.7-Target 20+20 Felder Erfassung der Farbreferenzen
Spektrale Farbkorrektur mittels linearer Schätzverfahren
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
400 450 500 550 600 650 700
Ref
lekt
ivitä
t S
Wellenlänge [nm]
Farbfeld-Reflektivität (Rekonstruktion)
S1S2S3S4S5S6S7S8S9
S10
S11S12S13S14S15S16S17S18S19S20
0
0.0005
0.001
0.0015
0.002
0.0025
0.003
0.0035
0.004
0.0045
350 400 450 500 550 600 650 700 750 800
Bes
trah
lung
sstä
rke
[W/(
sr*m
^2)]
Wellenlänge [nm]
Beleuchtungsspektrum Olympus CLV-160 (Xenon, 300W)
Level 1Level 2Level 3Level 4Level 5
Level 4 10nm
Sensorkalibrierung - Messungen
Farben Reflektivitäten
...
nρ ( )λns ( )λMEBeleuchtung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Sensorkalibrierung - Angepasstes Modell
���
⋮
⋮
⋮
������������ ������������� ��⋯⋯⋯
⋯⋯⋯
⋯⋯⋯
⋮⋮⋮⋮⋮⋮⋮⋮⋮
⋯⋯⋯
⋯⋯⋯
⋯⋯⋯
���
⋮
1
0000
0000
0000
0000
0000
0000
1
B)(
B)(1
R)(
R)(1
,,11
,,11
,,11
1,1,11
1,1,11
1,1,11
)B(
)G(
)R(
)B(1
)G(1
R)(1
×
×
=
×
KL
R
R
R
R
KLKN
SeSe
SeSe
SeSe
SeSe
SeSe
SeSe
KN
L
L
NLLN
NLLN
NLLN
LL
LL
LL
N
N
N
rCvρρρ
ρρρ
EsRρT=
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Sensorkalibrierung – Lineare Lösung
• Minimaler Vorhersagefehler und Glattheit
• Rangeinschränkung mittels Singulärwert-Zerlegung
• Lösung durch Ableiten, Nullsetzen
=
−−−−
−−−−
=
×
×
'~
'~
'~
1000
12100
012100
001210
00121
0001
'~
D00
0D0
00D
D
D
⋯
⋮⋱⋮⋮
⋯
⋯
⋯⋯⋯
⋯⋯
⋯
⋮⋱⋮⋮⋮⋮
⋯
⋯⋯
⋯⋯⋯
KLKL
LL
≤∀
=sonst0
1 riPii
TT VUPΣCVUΣC =′→=
( ) vUVPΣDVVPΣr TT 12C
−+= µ
min→+− DrrvCr Tµ
Spektrale Farbkorrektur mittels linearer Schätzverfahren
-1000
0
1000
2000
3000
4000
5000
6000
7000
8000
400 450 500 550 600 650 700
Em
pfin
dlic
hkei
t R0
Wellenlänge [nm]
Linear transformierte Sensor-Empfindlichkeit
RGB
-4000
-2000
0
2000
4000
6000
8000
10000
12000
400 450 500 550 600 650 700
Em
pfin
dlic
hkei
t R
Wellenlänge [nm]
Schätzung der Sensor-Empfindlichkeit
RGB
Sensorkalibrierung - Ergebnisse
Optimales Ergebnis Linear transformiert-1CRMR =�
Spektrale Farbkorrektur mittels linearer Schätzverfahren
���
⋮
������ ������� ��⋯
⋯
⋯
⋮⋱⋮⋮
���
⋮
11
1
2
3
2
1
,)B(
,2)B(
2,1)B(
1
,)G(
,2)G(
2,1)G(
1
,)R(
,2)R(
2,1)R(
1
1,)B(
1,2)B(
21,1)B(
1
1,)G(
1,2)G(
21,1)G(
1
1,)R(
1,2)R(
21,1)R(
1
)B(
)G(
)R(
)B(1
)G(1
)R(1
×
×
=
×
−
−
L
e
e
e
e
e
e
LKN
SRSRSR
SRSRSR
SRSRSR
SRSRSR
SRSRSR
SRSRSR
KN
L
L
L
NLLNN
NLLNN
NLLNN
LL
LL
LL
N
N
N
eAvρρρ
ρρρ
Beleuchtungsschätzung - Angepasstes Modell EsRρT=
Spektrale Farbkorrektur mittels linearer Schätzverfahren
• Schätzung mittels
- Minimalen Vorhersagefehlers
- Glattheitsbedingung
- Rangeinschränkung
-0.0005
0
0.0005
0.001
0.0015
0.002
0.0025
0.003
400 450 500 550 600 650 700
Bes
trah
lung
sstä
rke
[W/(
sr*m
^2)]
Wellenlänge [nm]
Schätzung des Beleuchtungsspektrums
OriginalSchätzung
Beleuchtungsschätzung - Ergebnis
Ergebnis (NCC=0.99)
Spektrale Farbkorrektur mittels linearer Schätzverfahren
• Linearer Schätzer
• Wiener Inverse
���
⋮
����� ������ ��⋯
⋯
⋯
���
1
1 1
2
3
2
1
)B(2
)B(21
)B(1
)G(2
)G(21
)G(1
)R(2
)R(21
)R(1
)B(
)G(
)R(
×
×
=
×
−
−
L
s
s
s
s
s
s
LK
eReReR
eReReR
eReReR
KL
L
LLL
LL
LL
s
Bρ
ρρρ
Reflektivitätsschätzung – Lineare Lösung
( ) ( ){ } minˆˆE
ˆ
→−−
=
ssss
GρsT
( ) ρG
BBRBRs�� ��� ��
1
sssswˆ−= TT
EsRρT=
Spektrale Farbkorrektur mittels linearer Schätzverfahren
0
0.2
0.4
0.6
0.8
1
400 450 500 550 600 650 700
Ref
lekt
ivitä
t S
Wellenlänge [nm]
Schätzung der Reflektivität
OriginalSchätzung
0
0.2
0.4
0.6
0.8
1
400 450 500 550 600 650 700
Rek
onst
rukt
ions
fehl
er
Wellenlänge [nm]
Mittlerer absoluter Rekonstruktionsfehler
Fehler
J18, grün (∆∆∆∆E = 3.31)
Reflektivitätsschätzung – Ergebnisse
Durchschnittl. Rekonstruktionsfehler
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Inhalt
• Motivation
• Spektrale Farbkorrektur
• Evaluierung
• Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Farbkorrektur – Evaluierungsschema Farbreproduktion
20 FarbwerteRef. Bel. (Set 1)
Transformation20 Spektren(Set 1)
Kanon.Beleuchtung
Kanon.Farbraum
20 FarbwerteKan. Bel. (Set 1)
Berechnung der Transformation
Fehlermaß20 Spektren(Set 2)
Kanon.Beleuchtung
Kanon.Farbraum
20 FarbwerteKan. Bel. (Set 2)
20 FarbwerteRef. Bel. (Set 2)
Trans-formation
20 FarbwerteKan. Bel. (Set 2)
Bestimmung des Reproduktionsfehlers
Spektrale Farbkorrektur mittels linearer Schätzverfahren
20
40
60
80
100
120
140
400 450 500 550 600 650 700
Inte
nsitä
t
Wellenlänge [nm]
CIE Normlicht-Spektren
4000450050005500600065007000
Farbkorrektur – Ergebnisse Farbreproduktion
Farbfehler (RMSE)
3.083.393.673.914.124.294.44
3x10
4.835.466.066.597.077.477.83
SPC-QP
19.6317.3415.9615.4215.5115.9716.60
−−−−
3.023.193.373.543.703.843.97
SPC-PE
9.119.549.94
10.3010.6210.9111.16
v. Kries
3x3
3.053.293.513.713.884.034.16
CCT [K]4000450050005500600065007000
Normlicht-Spektren Vergleich der Farbfehler
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Farbkorrektur – Ergebnisse Gewebeklassifikation
8071
63
8180
8177
8383
66
3x3PAT
LinearSPC
68636366HST
8172
7968
7572
7776
SGF XORSGF intra inv
Klassifikationsrate 2ηηηη [%]BAR-Clr
8180
v.K.
8178
-
8281
D65
8079
3x10Merkmale
SDH intraSDH intra inv
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Inhalt
• Motivation
• Spektrale Farbkorrektur
• Evaluierung
• Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
• Spektrales Farbkorrekturverfahren mit drei Phasen
- Kalibrierung
- Beleuchtungsschätzung
- Pixelweise Farbkorrektur
• Keine Positivitäts-Annahme für Kalibrierung
• Farbkorrektur verbessert Gewebeklassifikation
Zusammenfassung
Spektrale Farbkorrektur mittels linearer Schätzverfahren
Herzlichen Dank für dieAufmerksamkeit!