1. Universit de Monastir Unit de recherche Facult des Sciences de Monastir PRINCE Une approche dindexation et de recherche dimages pulmonaires TDM par le contenu visuel Prpar par : Mohamed Belhassen Co-encadr par : Pr. Bchir El Ayeb Dr. Karim Kalti 1

2. Plan Introduction Approche propose Evaluation de lapproche Conclusion et perspectives 2

3. Introduction Limites des approches textuelles dindexation dimages Description des images grce son contenu visuel de bas niveau Phase dindexation Extraction Images des indexer BDD descripteurs Phase de la recherche Extraction Comparaison Afficher le Image des des rsultat de requte descripteurs descripteurs la recherche Schma standard dune approche dindexation par le contenu visuel Introduction Approche propose Evaluation Conclusion 3

4. Classification des approches dindexation dimages Approches gnriques Images htrognes Approches spcifiques Images mdicales Approches trs spcifiques Images scanner de cerveau Introduction Approche propose Evaluation Conclusion 4

5. Objectif du travail Proposition dune approche dindexation et de recherche dimages pulmonaires tomodensitomtriques (TDM) Rgions pathologiques (RP) Exemples dimages pulmonaires TDM Introduction Approche propose Evaluation Conclusion 5

6. Approche propose Phase dindexation Phase de recherche Dlimitation des rgions dintrt Extraction des descripteurs physiques Reprsentation de limage sous forme dun arbre attribu Paramtrage de la procdure de recherche BDD Mesure de similarit Affichage du rsultat Introduction Approche propose Evaluation Conclusion 6

7. Contributions Proposition dune approche spcifique dindexation: Choix et adaptation des descripteurs de texture aux images indexes Proposition dun modle de reprsentation du contenu visuel ddi aux images pulmonaires TDM Proposition dune approche spcifique de recherche dimages Amlioration du temps de la recherche Introduction Approche propose Evaluation Conclusion 7

8. Choix des descripteurs physiques La texture des RP est importante dans la dtermination des pathologies La forme, la taille et la localisation des RP influencent le diagnostic Pathologie demphysme Pathologie de cancer Familles de descripteurs de texture Gabor, Histogramme, Cooccurrence, Longueurs de plages, Moments de niveaux de gris, Diffrences de niveaux de gris, Auto-corrlogramme de couleurs Descripteurs gomtriques et de forme Primtre , Surface, Circularit, Rectangularit, edginess , Moments invariants, Descripteurs de Fourier Introduction Approche propose Evaluation Conclusion 8

9. Adaptation des descripteurs de texture aux images indexes Variation de la pertinence Prparation dune vrit des descripteurs de texture terrain pour ladaptation des suivant : familles de descripteurs de Paramtres dentre texture Images indexes 22% Ncessit de choisir les 9% 5% paramtres dentre BDD: appropris aux images 122 images 198 RP indexes 8% 43% 11% Introduction Approche propose Evaluation Conclusion 9

10. Principe de lapproche dadaptation des familles des descripteurs de texture Illustration: 198 RP 6 classes de texture Vecteur de descripteurs de cooccurrence : VDC= (Homognit, Energie, Contraste ) Classe 1 Classe 2 Classe 3 Classe 4 Classe 5 Classe 6 DMC=( 0,25+1+0,2+0,95+1+0,7)/6=0,68 CMC=(0,085+0,039+0,061+0,029+0,02+0,061)/6=0,05 DCci : 0,25 1 0,2 0,95 1 0,7 CCci : 0,085 0,039 0,061 0,029 0,02 0,061 Distribution spatiale des RP Paramtres dentre: angle = 0, dplacement=1 Introduction Approche propose Evaluation Conclusion 10

11. Adaptation des descripteurs de texture aux images pulmonaires TDM Synthse des rsultats Dtermination des paramtres dentre adquats des diffrentes familles de descripteurs de texture Descripteurs Paramtres dentre Histogramme 256 NG Color autocorrelogram 256 NG, DistanceL1=1 Longueurs de plages 32 NG, Direction : horizontale Diffrences de niveaux de gris dx=1, dy=3 Cooccurrences Dplacement=1, Angle=0 Estimation des performances des familles de descripteurs 1 0.8 0.6 0.4 Dtachement 0.2 moyen des 0 Introduction Approche propose Evaluation Conclusion 11

12. Proposition dun modle de reprsentation des images pulmonaires TDM Image pulmonaire Nud fictif Poumon droit Poumon gauche Poumon Poumon Vecteurs de droit gauche descripteurs Coordonnes des centres de gravit RP1 RP2 RP3 des RP RP1 RPN RPN+1 RPM Vecteurs de descripteurs Rgions dintrt dune image Modle de reprsentation des pulmonaire TDM images pulmonaires TDM Introduction Approche propose Evaluation Conclusion 12

13. Proposition dune approche spcifique de recherche dimages But : o Mesurer le degr de similarit entre limage requte et les images indexes Tirer profit des connaissances priori du domaine dimagerie pulmonaire TDM Principe de lapproche de mesure de similarit: Image requte Dtermination de lappariement optimal Images de la BDD Introduction Approche propose Evaluation Conclusion 13

14. Appariement optimal entre deux arbres dimages pulmonaires Pourquoi?: Plusieurs possibilits dappariement Maximisation du critre de similarit de la texture des nuds apparis Principe : Cot initial dappariement (CIA) Eq 5 Cot initial minimal dappariement Eq 6 Introduction Approche propose Evaluation Conclusion 14

15. Calcul des cots des options dappariement Options dappariement La distribution spatiale des RP apparies La forme des RP apparies La texture des RP non apparies La distribution spatiale des RP non apparies Image requte Dtermination Calcul des cots de lappariement des options optimal dappariement Images de la BDD Principe de lapproche de mesure de similarit Introduction Approche propose Evaluation Conclusion 15

16. Normalisation des cots dappariement Eq 7 Image requte Calcul des cots Normalisation des options des cots dappariement dappariement Images de la BDD Principe de lapproche de mesure de similarit Introduction Approche propose Evaluation Conclusion 16

17. Calcul des cots totaux dappariement (CTA) Eq 8 avec: Image requte Normalisation Calcul des cots des cots totaux dappariement dappariement Images de la BDD Principe de lapproche de mesure de similarit Introduction Approche propose Evaluation Conclusion 17

18. Amlioration du temps de la recherche 1/2 Famille de descripteurs Dimension Forme 22 Gabor 40 Histogramme 8 RI1 RI2 Coccurrence 7 Longueurs de plages 11 Moments de niveaux de gris 4 Diffrences de niveaux de gris 5 RI3 RI4 RI5 Auto-corrlogramme de 32 couleurs Vecteur global de Texture 107 Rgions dintrt dune Dimension des vecteurs des descripteurs image pulmonaire TDM 18

19. Amlioration du temps de la recherche 2/2 Problme : Ralentissement de la procdure de recherche Objectif: Rduction de la dimension Rduction du temps de recherche Mthode: Analyse en composantes principales (ACP) Choix de nombre de composantes retenir Indicateur de qualit global Utilisation de la mesure de dtachement des classes Introduction Approche propose Evaluation Conclusion 19

20. Rduction de la dimension des vecteurs des descripteurs Dimension 120 1071 100 Dimension des vecteurs 80 des descripteurs: 60 403 Avant la rduction des dimensions 40 20 0 Famille des descripteurs Nombre des dimensions des vecteurs des descripteurs Introduction Approche propose Evaluation Conclusion 20

21. Amlioration de la performance des descripteurs de texture 0,870,9 0,860,97 DMC 1 0.9 Performance des descripteurs de 0.8 0.7 texture: 0.6 avant la rduction 0.5 des dimensions 0.4 0.3 aprs la rduction 0.2 des dimensions 0.1 0 Famille des descripteurs Dtachement Moyen des Classes(DMC) des familles de descripteurs de texture Introduction Approche propose Evaluation Conclusion 21

22. Illustration de la phase de recherche RP 1 RP 2 Image requte Segmentation Slection des RP Introduction Approche propose Evaluation Conclusion 22

23. Evaluation de la performance du systme 1/2 Composition de la BDD : 122 images 198 RP classifies 75 RP non classifies 3 2.5 2 1.5 RI de la classe 1 1 RI de la classe 2 RI de la classe 3 0.5 RI de la classe 4 0 RI de la classe 5 -3 -2 -1 -0.5 0 1 2 3 RI de la classe 6 -1 RI non classes -1.5 -2 -2.5 La distribution des RP de la BDD selon les deux premires CP de vecteur global de descripteurs de texture Introduction Approche propose Evaluation Conclusion 23

24. Evaluation de la performance du systme 2/2 Prcision 1 color autocorrelogram 0.9 coccurrence 0.8 diffrence de niveaux de gris 0.7 Gabor 0.6 histogramme 0.5 longueurs des plages 0.4 moments de couleur 0.3 tous les descripteurs 0.2 0.1 0 Rappel 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Courbes de Prcision et Rappel Introduction Approche propose Evaluation Conclusion 24

25. Conclusion Proposition dune approche spcifique dindexation Choix et adaptation des descripteurs visuels Proposition dun modle de reprsentation dimages spcifique Proposition dune approche spcifique de recherche dimages Amlioration du temps de la recherche par rduction des dimensions des vecteurs de descripteurs Evaluation de la performance globale du systme Introduction Approche propose Evaluation Conclusion 25

26. Perspectives Intgration dune procdure de recherche base sur les paramtres cliniques du patient Proposition dun langage dinterrogation capable de traiter les requtes de haut niveau Introduction Approche propose Evaluation Conclusion 26

27. 27

28. Algorithme de segmentation Calcul des options dappariement Evaluation de la performance du systme Principe de lapproche dvaluation des descripteurs Appariement des arbres attribus Illustration de la phase de la recherche 28

29. Algorithme de segmentation But : Isoler et identifier les deux rgions pulmonaires droite et gauche Image en entre Image en sortie 29

30. Diagramme de lalgorithme de segmentation propos Image TDM pulmonaire Seuillage itratif Etiquetage des rgions noires Elimination des petites rgions noires Temps moyen de segmentation : Elimination des rgions noires 625 ms touchant le bord de limage Etiquetage des rgions blanches Elimination des petites rgions blanches Amlioration de la segmentation en utilisant les courbes B-Spline Image pulmonaire segmente 30

31. Apport de lapproche de segmentation propose : Utilisation de la technique dtiquetage dans llimination des rgions parasites l'image segmenter aprs l'image rsultante de llimination des rgions l'opration du parasites et des rgions seuillage touchant les bords de limages 31

32. Apport de lapproche de segmentation propose : Lissage des bords des deux rgions pulmonaires en utilisant les courbes B-Spline et correction de la segmentation Avant le lissage Aprs le lissage 32

33. Facteurs influenant la prcision du calcul du cot de la distribution spatiale La position des coordonnes de lorigine du repre 34

34. Facteurs influenant la prcision du calcul du cot de la distribution spatiale Variation de la taille des deux rgions pulmonaires selon lindividu et selon la coupe du scan L1 L2 Ncessit de la normalisation de la taille des rgions 35 pulmonaires

35. Normalisation de la position des rgions pathologiques (RP) Choisir une hauteur fixe tous les poumons : H=300 pixels Soit L la hauteur du poumon courant Normaliser les coordonnes du centre de gravit de lime RP de ce poumon comme suit : 36

36. Prcision et Rappel 39

37. Evaluation de la performance du systme 40

38. Temps moyens des diffrentes tapes de la phase de recherche dimages Dure Etape moyenne (ms) Segmentation automatique de la rgion 625 pulmonaire Calcul des descripteurs et rduction de 447 leur dimension en utilisant lACP Construction du graphe de limage 10 pulmonaire Recherche dimages en utilisant la 22 mthode dappariement global Recherche dimages en utilisant la 27 mthode dappariement local Recherche dimages en utilisant la 41 mthode dappariement global /local 41

39. Principe de la mthode dvaluation de performances des descripteurs de texture 1/2 Considration du vecteur de descripteurs de texture dcrivant chaque RP classe de la BDD comme tant un point dans un espace multidimensionnel Approximation de la rgion occupe par les lments de chaque classe c par son hyper-sphre minimale englobante : s c i Le centre : cest llment (EPPCc) permettant de minimiser la somme s s d ( si , s j ) Eq 9 s j Sc Le rayon : le rayon est gale RHC RH c max d EPPC c , s j Eq 10 s j Sc 42

40. Principe de la mthode dvaluation de performances des descripteurs de texture 2/2 Mesure des proprits spatiales : Condensation de la classe : mesure le degr de proximit des lments de la classe de texture de son centre card s i S S c / d EPPC c , s i RH c DC c Eq 11 card s i S Sc Dtachement de la classe : mesure le degr de sparation de cette classe de texture des autres classes d EPPC c ,sj s j Sc CC c ,sj EPPC c Eq 12 n 1 Dim un bon descripteur permet davoir une valeur de DC proche de 1 et une valeur de CC proche de 0 43

41. Appariement des arbres attribus Quel est lappariement retenu (optimal)? Minimiser le cot initial dappariement Comment peut-on trouver lappariement optimal? Dcomposer lappariement de graphes en deux appariements de sous-graphes 44

42. Appariement des arbres attribus Dcomposition de lappariement R Rd Bd Rg Bg Rg Rd Rd Rd Bd Bd Rg Bg Bg Rd 1 2 3 1 2 1 1 2 Rd Rd Rd Rg ou 1 2 3 1 Rd Bg Rg Bd B Rd Rd Rd Bg Bg Rg Bd Bd Bd Bg 1 2 3 1 2 1 1 2 Bd Bd Bg Bg 1 2 1 2 45

43. Appariement des arbres attribus Plusieurs possibilits dappariement entre les rgions pathologiques Rd Bd Rg Bg Rd Rd Rd Bd Bd Rg Bg Bg 1 2 3 1 2 1 1 2 Rd 1 Bg 1 Bd 1 Rd Rg 2 1 Bd Bg 2 2 Rd 3 46

44. Appariement des arbres attribus Le vecteur de descripteurs de textures TRI de chaque RI est un vecteur unidimensionnel ayant les valeurs suivant : TRd=2, TRg=1, TRd1=2, TRd2=5, TRd3=1, TRg1=3, TBd=4, TBg=3, T Bd1=1, TBd2=3, TBg1=2, TBg2=1 Rd 1 Bd1,Rd1 Bd1,Rd2 Bd1,Rd3 Bd [1] [4] [0] 1 Rd 2 Bd2,Rd2 Bd2,Rd3 Bd2,Rd1 Bd2,Rd3 Bd2,Rd1 Bd2,Rd2 [2] [2] [1] [2] [1] [2] Bd 2 Cot Total: 3 3 Chemins non 1 2 Rd prometteurs 3 (a) Lgende: Bg Appariement optimal 1 Rg1,Bg1 Rg1,Bg2 Sens du parcourt de larbre [1] [2] Rg 1 Cot Total: 1 2 Bg 2 (b) 47

45. Complexit de lappariement initial P1 1 1 N 1 N 2 1 N-1 P2 1 K K 1 N-(k-1) N! Complexit tel que K N (N K )! dappariement: 48

46. 49