Upload
joscelin-martinez
View
104
Download
0
Tags:
Embed Size (px)
Citation preview
1
DeMiTri :Déconvolution aveugle en
microscopie biologique tridimensionnelle
Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCEWEIZMANN INSTITUTE OF SCIENCE
ARC DEMITRI – 17 dec. 2004
2
L’équipe
Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux
Josiane Zerubia - Laure Blanc-Féraud
+ Nicolas Dey (Post-doctorant) – Gemma Pons (stagiaire DEA)
Zvi Kam
Sophia Antipolis
WEIZMANN INSTITUTE OF SCIENCEWEIZMANN INSTITUTE OF SCIENCE
ARC DEMITRI – 17 dec. 2004
3
Présentation
L’acquisition en microscopie confocale
La restauration : problème mal posé
méthodes monoéchelles : itératives + terme régularisation [Geman & McClure 85, Charbonnier 97, …] [Ricardson-Lucy …]
Algorithme de déconvolution par Richardson-Lucy régularisé
méthodes multiéchelles : ondelettes réelles + régularisation par seuillage des coefficients
[Mallat 89, Bijaoui 94, …]
Algorithme de déconvolution par la Transformée en Ondelettes Complexes 3D et seuillage.
Bilan et perspectives
ARC DEMITRI – 17 dec. 2004
4
Microscopie optique en biologie
Fluorophores (GFP, CFP, YFP, RFP…) marquage de composants cellulaires spécifiques
Lasers monochromatiques Filtres spécifiques Observation de cellules vivantes, processus dynamiques
Microscopie confocale: sections optiques de haute qualité (3D) Plateforme d’Imagerie Dynamique, Institut Pasteur:
8 microscopes, dont 4 confocaux
ARC DEMITRI – 17 dec. 2004
5
Microscopie confocale: principe
z
objectif
laser
diaphragme
miroir semi-réfléchissant
Détecteur (photomultiplicateur)
plan focal
specimen
Le diaphragme rejette la lumière émise hors du plan focal
Balayage du specimen et reconstruction de l’image par ordinateur (3D= piles d’images 2D)
[Minsky 57]
ARC DEMITRI – 17 dec. 2004
6
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.
Microscopie à champ large Microscopie confocale
Rendu surfacique
20 m
ARC DEMITRI – 17 dec. 2004
7
Microscopie confocale: Limites
Diaphragme réduit le rapport photons détectés/ photons émis Photo-toxicité et photo-blanchiment intensité du laser doit être
modérée
faible flux de photons ( bruit de Poisson)
Augmenter le diamètre du diaphragme le signal augmente, mais aussi la fluorescence parasite émise hors plan focal (compromis typique: = tâche d’Airy)
Même pour =0, l’image est floue à cause de la limite de diffraction
ARC DEMITRI – 17 dec. 2004
8
PSF d’un microscope confocal
Modèle de PSF théorique [Sheppard & Cogswell 1990]
Hypothèses: PSF invariante par translation ex = em , pas d’aberrations optiques, valable pour 0.
Limite de résolution importante pour la biologie cellulaire Ex: cellule de levure: = 1 m
Amélioration possible par déconvolution
(=0)
3 m
0.5 m
PSF confocale theorique
ARC DEMITRI – 17 dec. 2004
9
Acquisitions d’images tests
Objets de géométrie connue pour évaluer les résultats de déconvolution
Billes fluorescentes calibrées (FocalCheck): Immobilisees dans gel d’agarose
Microscopie: Zeiss Axiovert 200M confocal/bi-photon, grossissement interne 3.3x. Objectif d’huile à immersion, grossissement 63x, ouverture numérique 1.4. Laser: ex =520 nm, em =488 nm; diaphragme = 1 Airy
Echantillonnage: dx = dy = 89 nm, dz = 230 nm
6 m 15 m
0.5-0.7 m
ARC DEMITRI – 17 dec. 2004
10
Les images observées sont dégradées :
Équation d’observation
Noyau de convolution(PSF connue)
Image originale
Image observée
Bruit de Poissono f
ARC DEMITRI – 17 dec. 2004
11
Modèle Probabiliste
Formation de l’image :
Probabilité de vraisemblanceProbabilité d’observer oo sachantff (et hh)
trouver ff qui maximise cette probabilité
o f
ARC DEMITRI – 17 dec. 2004
12
Algorithme standard
Minimiser -log[ p(o/f) ]-log[ p(o/f) ]
Fonctionnelle à minimiser
Richardson-Lucy: algorithme itératif multiplicatif de gradient [Richardson74] [Lucy72]
ARC DEMITRI – 17 dec. 2004
13
Algorithme de déconvolution
Pourquoi Richardson-Lucy (astronomie et
confocal) ?
adapté au bruit de PoissonPoissonContrainte de positivité
Limitations
amplificationamplification du bruit au cours des itérations
RRégularisation : arrêt des itérations
Incorporer une régularisationrégularisation
ARC DEMITRI – 17 dec. 2004
14
Régularisation
Méthodes mono-échelle [Tikhonov, Geman & McClure, Charbonnier, …]Régularisation + préservation des contours
On cherche f qui minimise J(f) :
J(j) = ||o-h*f||2 / 22 + (f)
Attache aux données Terme de régularisation
Méthodes multi-échelle [Mallat, Bijaoui, …]Analyse multirésolution ondelettes• Inversion puis seuillage des coefficients en ondelettes• Régularisation des méthodes itératives classiques
(par seuillage d’une transformée en ondelettes)
ARC DEMITRI – 17 dec. 2004
15
Modèle ProbabilisteProbabilité a posteriori p(f/o)p(f/o)
Appliquer un modèle sur l’objet à reconstruire p(f)p(f) est le terme de régularisation
Régularisation quadratique [Tikhonov63] [v.Kempen & v.Vliet97] [v.d.Voort & Strasters95]
o o off f~
dxfxdxxfhxoxfh2
))(*log).()(*
ARC DEMITRI – 17 dec. 2004
16
Régulariser et préserver les contours
ji
jif,
,
Minf
1 1
)0(
1
On cherche f qui minimise J(f) :
Régularisation par Variation Totale (TV) [Rudin92, Charbonnier94,…]
ARC DEMITRI – 17 dec. 2004
17
Régularisation
Fonctionnelle à minimiser
Algorithme de Richardson-Lucy régularisé
ARC DEMITRI – 17 dec. 2004
18
Résultats
comparer entre RL standardstandard et RL régularisé par TVrégularisé par TV
Données Données simuléessimulées et données et données réelles réelles acquises à l’institut Pasteuracquises à l’institut Pasteur
Critères numériques de qualité Critères numériques de qualité [Csiszar91] EQMEQM
I-divergenceI-divergence
kji
kjikji ffEQM,,
2,,,,
ˆ
kji
kjikjikjikjikji fffffI,,
,,,,,,,,,,ˆˆlog.
ARC DEMITRI – 17 dec. 2004
19
Objet simulé 3D
x
y
même échelle en XX et YY, mais différente en ZZ
x
z
ARC DEMITRI – 17 dec. 2004
20
Données dégradées
Dégradations par du flou et du bruit simulés
Flou 3D Flou 3D : modèle de PSF d’un microscope confocalbruitbruit: simulation d’un bruit de Poisson
ARC DEMITRI – 17 dec. 2004
21
Déconvolution RL
Richardson-Lucy sanssans régularisation
itérations: arrêt avant l’amplification du bruit amplification du bruit
oscillationsoscillations dans l’image restaurée
LesLes bords bords des objetsdes objets restent flous restent flous (en XY)
Les objets sont plus fins qu’en réalité (en XZ)
ARC DEMITRI – 17 dec. 2004
22
Déconvolution RL avec régularisation TV
Richardson-Lucy avecavec régularisation TVPasPas d’amplification du bruit
PasPas d’oscillations d’intensité
bords francs (en XY)
épaisseur originale des objets (en XZ)
ARC DEMITRI – 17 dec. 2004
23
Comparaison des résultats
originale dégradée RL RL+TVoriginale dégradée RL RL+TV
ARC DEMITRI – 17 dec. 2004
24
Résultat : Image 3D de microscopie confocale
Coquille sphérique algo. RL algo. RL + VT @Pasteur
Épaisseur mesurée de l’anneau: ~500 nm en réalité , ~900 nm image dégradée, ~ 400nm surRL, ~500nm sur RL+TV
ARC DEMITRI – 17 dec. 2004
25
Résultats sur données réellesProfil d’une image
rouge: données brutes
vert: restauration RL
rouge: données brutes
vert: RL+TV
ARC DEMITRI – 17 dec. 2004
26
Conclusion
Qualitativement: bonne restauration
coincoin arrondis
Reste localement un peu de flou(diagonales)
Pas adapté aux textures et petits objets
Quantitativement : amélioration de la I-divergence et de l’EQM: de 11 (RL) à [0.30 [0.30 0.50]0.50] (RL+TV)
Nombre de compte non conservé
ARC DEMITRI – 17 dec. 2004
27
La restauration par Transformées en ondelettes
Représentation dans le domaine des ondelettesreprésentation compacte du signal, bonne représentation des textures.
Choix de la base Représentation de l’image sur peu de coefficients de
valeurs fortes Le bruit est réparti sur tous les coefficients
Seuillage des coefficients en ondelettes efficace pour le débruitage [Donoho & Johnstone 92]
Déconvolution : Méthode directe [Mallat & Kalifa 99] Méthodes itératives [Stark & Bijaoui 94… ]
ARC DEMITRI – 17 dec. 2004
28
Ondelettes Complexes
• quad-arbre en 2D (4 arbres d’ondelettes parallèles) [Kingsbury 98]
• filtres décalés d’½ pixel entre les arbres
• combinaison des arbres coefficients complexes
• ondelettes biorthogonales
Propriétés :
Invariance par translation et rotation
Sélectivité directionnelle
Reconstruction parfaite
Algorithme rapide O(N)
Redondance 2m:1, m = dim
ARC DEMITRI – 17 dec. 2004
29
Quad-arbre : 1er niveau
a0
(image)
a1
d21
d11
d31
Transformée non décimée
Reconstructionparfaite :moyenne
(A+B+C+D)/4
Arbres parallèles ABCD
a1A
d21A
d11A
d31A
AA A
A
AA A
A
AA A
A
AA A
A
a1B
d21B
d11B
d31B
BB B
B BB B
B
BB B
B BB B
B
a1C
d21C
d11C
d31C
CC C
CCC C
C
CC C
CCC C
C
a1D
d21D
d11D
d31D
DD D
D
DD D
D
DD D
D
DD D
D
AB
CD
AB
CD
AB
CD
AB
CD
AB
CD
AB
CD
AB
CD
AB
CD
AB
CD
ARC DEMITRI – 17 dec. 2004
30
Coefficients complexes
M
dkj,A
dkj,B
dkj,C
dkj,D
4 sous-bandes réelles
Zkj+
Zkj-
2 sous-bandescomplexes symétriques
Z + = (A - D) + i (B + C)Z - = (A + D) + i (B - C)
!L’ondelette continue n’est pas une fonction complexe.Ce ne sont pas exactement des ondelettes complexes !
ARC DEMITRI – 17 dec. 2004
31
Comparaison avec les ondelettes réelles
Pas d’invariance par translation artefacts (moyenne sur translations)
Pas d’invariance par rotationDirections privilégiées : horizontale / verticale mauvaise représentation des textures orientées (diagonales)
ARC DEMITRI – 17 dec. 2004
32
hgg
d16
hhg d14
ghg
d15
ggg
d17
Ondelettes 3D réelles
hgh
d12
ggh
d13
ghh
d11
y
x
z
hhh
a1
(x,y,z)
a0
volume
Transformée 1er niveau
ARC DEMITRI – 17 dec. 2004
33
Ondelettes complexes 3D
8 Arbres parallèles ABCDEFGH
ARC DEMITRI – 17 dec. 2004
34
Coefficients complexes 3D
Z 1+ = (A - D - F - G) + i (B + C + E - H)Z 1- = (A + D + F + G) + i (B + C - E + H)Z 2+ = (A + D + F - G) + i ( - B + C + E + H)Z 2- = (A + D - F + G) + i (B - C + E + H)
8 sous-bandes réelles
M
dkj,A
dkj,B
dkj,C
dkj,D
dkj,E
dkj,F
dkj,G
dkj,H
Zkj,1+
Zkj,2-
4 sous-bandescomplexes symétriques
Zkj,1+
Zkj,2-
ARC DEMITRI – 17 dec. 2004
35
Ondelettes 3D complexes
hgg
d16
hhg d14
ghg
d15
ggg
d17hgh
d12
ggh
d13
ghh
d11
y
x
z
hhh
a1
(x,y,z)
a0
volume
Transformée 1er niveau
4 sous-bandes /détail * 7 détails/niveau = 28 sous-bandes complexes/niveau
...Re
Im
Z1+ Z2+
Z1- Z2-
1 2
3 4
5 6
7 8
ARC DEMITRI – 17 dec. 2004
36
Algorithme de débruitage par Ondelettes
Transforméedirecte
seuillageTransformée
inverse
Choix de la base :• compacité
•reconstruction• propriétés d’invariance
Choix de la fonction
de seuillage
Valeur optimaledu seuil ?
ARC DEMITRI – 17 dec. 2004
37
Comparaison CWT - DWT 3D
a) b) c) d)
a) Image originale 128x128x64
b) Image bruitée, bruit gaussien de variance 900
c) Débruitage par la CWT
d) Débruitage par la DWT
c) Débruitage par la CWT :
contours plus nets
moins d’oscillations
ARC DEMITRI – 17 dec. 2004
38
Comparaison CWT - DWT 3D
• CWT meilleure de ~2 dB par rapport à DWT• Le seuillage doux donne les meilleurs résultats
~ 2 dB
CWT
DWT
Seuillage doux
~ 2 dB
CWT
DWT
Seuillage Oracle
~ 2 dB
CWT
DWT
Seuillage dur
ARC DEMITRI – 17 dec. 2004
39
Résultat image réelle
Débruitage de l’image des billes acquises à l’Institut Pasteur (256x256x128).
Seuillage des coefficients complexes 3D (T=1.6k).
ARC DEMITRI – 17 dec. 2004
40
Débruitage image réelle
Image réelle (156x156x30) :embryon de drosophile en train de réaliser la fermeture dorsale (coupe).Laboratoire biologie cellulaire UNSA/CNRS
Débruitée par seuillage de latransformée en ondelettes complexes.
ARC DEMITRI – 17 dec. 2004
41
Algorithme de déconvolution par Ondelettes
Déconvolutionbrutale
Transforméedirecte
seuillageTransformée
inverse
• Mais il y a des zéros dans le spectre de la PSF
Transforméedirecte
seuillageTransformée
inverseDéconvolution
• Déconvolution par RL + TV
ARC DEMITRI – 17 dec. 2004
42
Résultat image synthétique
Image floue Débruitée par TOC + RLTV TOC + RLTV
et bruitée TOC 25 itérations convergence (=2.10-3) (=2.10-3)
ARC DEMITRI – 17 dec. 2004
43
Comparaison des résultats
Image floue TOC + RL+TV Image floue RL+TV et bruitée convergence et bruitée
convergence(Gaussien 100) (=2.10-3) Poisson (=2.10-3)
ARC DEMITRI – 17 dec. 2004
44
Résultat image réelle
TOC + RLTV TOC + RLTV 25 itérations convergence (=2.10-4)
Image floue Débruitée paret bruitée TOC
ARC DEMITRI – 17 dec. 2004
45
Conclusion
Tenir compte de la statistique du bruit : loi de Poisson
Anisotropie en Z
Transformée en paquets d’ondelettes : CWP?
Méthodes hybrides : déconvolution itérative + débruitage par CWT
[Bijaoui 95, Malgouyres02,Stark 04,Bect 04]
ARC DEMITRI – 17 dec. 2004
46
Bilan de l’ARC Demitri
Collaboration entre les équipes : Nombreux longs séjours de Nicolas Dey à l’Institut
Pasteur (2 à 4 semaines par séjour)Visites régulières d’Ariana à Pasteur (JZ et LBF, 3 à 4
par an) et de Pasteur à Ariana (2 à 3 par an).Une visite par an de Zvi Kam en France (une semaine
à l’Institut Pasteur, une semaine chez Ariana) et une visite de 10 jours de N. Dey à l’Institut Weizmann en juillet 2004.
Publications ISBI 04, SSIAB 04 (papiers invités), ICASSP 05Rapports de recherches : un paru (N. Dey et al.
juil.04) et un à paraître (G. Pons et al.).Un article en préparation pour Microscopy Research
and Technique
ARC DEMITRI – 17 dec. 2004
47
PerspectivesPar rapport à l’ARC Demitri
Débruitage et déconvolution… encore des recherches à mener (CWP, anisotropie en Z pour les ondelettes, méthodes itératives avec ondelettes).
Validation (pb d’optique) du modèle de réponse impulsionnelle (PSF)
Déconvolution aveugle : à faire
Collaborations futures Thèse de Bo Zhang 04/07, financement BDI CNRS Math/Stic 04/05 : Ariana, Dieudonné, Pasteur (financement
CNRS) Proposition Franco-Israëlienne: Ariana, Pasteur Technion,
Weizmann (réponse fin décembre 04) Projet Européen NEST : PI Pasteur, Ariana, Weizmann, EPFL,
Université de Delft (réponse début 2005) Proposition ACI NIM 04 à resoumettre en 05 : Ariana,
Dieudonné, CMAPX, Pasteur.
Comité IEEE BISP : JZ élue pour 05/07, candidature de JCOM proposée pour 06/08.