Upload
others
View
10
Download
0
Embed Size (px)
Citation preview
La COULEUR dans les IMAGESEt Indexation par le Contenu
• Patrick Bonnin� Institut des Sciences et Techniques des Yvelines ISTY� Laboratoire d’Ingénierie des Systèmes de Versailles� Université de Versailles Saint Quentin UVSQ
LA COULEUR : notion de Physique
• Scène :�Objets 3D,�Sources Lumineuses,�Caméra (s) ou Observateur(s)
• Objets :�Absorbent, diffusent, réfléchissent, diffractent la lumière,
selon leur état de surface, texture, couleur ….• Couleur dans l’Image :
�Projection de l’objet coloré de la scène�Cf Synthèse d’Images
• Colorimétrie : Science de la Mesure des Couleurs :�A un stimuli visuel correspond 3 valeurs uniques
• Observateur Colorimétrique de Référence :�1931 par la CIE : Commission Internationale de l’Eclairage,�Statistique, sur un grand nombre d’observateurs,�Disparités faibles, SAUF si anomalie dans la perception.
Physiologie du Système Visuel Humain : les Photo-Récepteurs
• Bâtonnets : Vision Nocturne ou Scotopique�100 millions,�+ petits, MAIS 10 fois plus sensibles que les cônes,�Répartis autour des cônes
• Cônes : Vision Diurne ou Photopique : Perception Tri Valente�4 à 7 millions, de 3 types : LMS (Long, Medium, Short),�Long : 560nm : Rouge,�Medium : 530 nm : Vert,�Short : 420 nm : Bleu
Synthèse des Couleurs
• Hypothèse de la Colorimétrie Trichronique�Luminance d’un Mélange = somme des Luminances,�Reconstruction = Synthèse Additive,�Additive : Moniteurs, Vidéo Projecteurs,�Soustractive : Peinture, Impression Papier
Espace Couleur RVB
Image RVB Composante R Composante VComposante B
• Format « Intuitif » :�Composantes dans les 3 couleurs de base : R,V,B,
• Images Monospectrales « Similaires » :�Segmentations Monospectrales identiques,
• Sensible aux Variations de l’Eclairage :� Idem pour les 3 bandes
Expériences de Perception des Couleurs
• Synthèse Additive:�S(λλλλ) = r(λλλλ)R + g(λλλλ)G + b(λλλλ) B,�Fonction Colorimétriques de
l’observateur de référence• Partie Négative de : r(λλλλ)
�Pas possibilité de synthétiser la couleur,
�Égalité obtenue en additionnant du rouge au stimuli à réaliser
S(λλλλ) + r(λλλλ)R = g(λλλλ)G + b(λλλλ) B• Nouvel Espace Colorimétrique
Primaire : XYZ CIE 1931• Couleurs Réalisables :
Espace Colorimétrique Primaire XYZ CIE 1931
• Synthèse Additive:�S(λλλλ) = x(λλλλ)X + y(λλλλ)Y + z(λλλλ) Z,�3 Primaires « Imaginaires »�Pas de partie Négative�Toutes les couleurs pures sont dans
ce triangle.• Transformation Matricielle RGB - XYZ
�Coordonnées Normalisées :
Addition des Couleurs : Espace x,y à Z = cte
• Couleurs Réalisables : Triangle de Maxwell �À partir des primaires R,V,B,�Les autres couleurs sont Imaginaires
• Principe d’Addition�Coordonnées Barycentriques
• L’Espace X,Y,Z contient l’ensemble des Couleurs Pures
L’Expression Subjective de la Couleur
• Perception Humaine : Luminosité, Teinte, Saturation• Luminosité ou Luminance : lightness, brightness
�Correspond à la sensation : Claire, Foncé ou Terne d’une couleur, => Surface S(λλλλ) = f(λλλλ)
• Teinte : Hue �Tonalité chromatique : rouge, vert, bleu, jaune, pourpre�Teinte : Longueur d’onde dominante : 620nm ci-dessous
• Saturation :�Côté plus ou moins délavé : pâle ou vif! Lié au % de blanc.
• Œil : capacité de distinction :�128 Teintes,�20 Saturations… Seulement !
Autres Types d’Espaces ColorimétriquesUn Certain nombre d’Espaces !!!
• 4 principaux types d’Espaces Colorimétriques�Primaires : RVB, XYZ �Luminance – Chrominance�Perceptuels : Luminance – Teinte – Saturation�D’Axes Indépendants
• Espaces Luminance - Chrominance : Y Cb Cr�Liés aux standard TV, se prêtent à la compression sur la
Chrominance. L’œil est moins sensible à la Chrominance !�YIQ : norme NTSC, �YUV : norme PAL,�YDbDr : norme SECAM,�La*b*, Lu*v*
• Espaces Luminance – Teinte - Saturation�Espaces Perceptuels : proches de la perception humaine.�HSV, HSL, TLS,LCH etc … formulations différentes !
• Espaces « Complexes »�Hybrides des autres … jusqu’à 10 axes (au lieu de 3 !)
Espaces Perceptuels
• Proches de la Perception Humaine�Luminance, Teinte, Saturation :
expressions subjectives humaines !�Distance entre couleurs, correspond à
notre perception.• Passage en Coordonnées Cylindriques
�Luminance : Vertical �Teinte : Angle, plan horizontal,�Saturation : distance par rapport à
l’axe�Différence HSV (haut) et HSL (bas)
Autre Exemple de l’Espace HSI et HSV (Thèse Thomas Costis)
• Attention : Variantes !!�Avec sqrt(3) !
• Calculs Lourds !� Impossible à
réaliser sur tous les pixels de l’image, en temps réel, avec une faible puissance de calcul !!!
Autre Exemple de l’Espace HSI et HSV (Thèse Thomas Costis)
• Modélisation�HSI, HSV
• Calcul de H�Algorithme
Luminance, Teinte Constantes et Saturation Variable :
Saturation Saturation Saturation Saturation
Teinte Teinte Teinte TeinteLuminance Luminance Luminance Luminance
Luminance, Saturation Constantes et Teinte Variable :
Saturation Saturation Saturation Saturation
Teinte Teinte Teinte Teinte
Luminance Luminance Luminance Luminance
Teinte, Saturation Constantes et Luminance Variable :
Saturation Saturation Saturation Saturation
Teinte Teinte Teinte TeinteLuminance Luminance Luminance Luminance
Espace Couleur YUV : Standard PAL
• Séparation : Luminance - Chrominance :�Y : Luminance,�U et V : « pseudo » Chrominance, �U: Différence des Rouge, V Différence des Bleus
• Images Monospectrales « Différentes » :�U et V : plus bruitées,
• Moins Sensible aux Variations de l’Eclairage :�Sensibilité quand même : transformation linéaire !!!
• Espace Important :�Sortie de nombreux drivers de caméras !!!
• Matrices de Transformation Normalisées RVB<=>YUV : (source SONY doc caméra de AIBO)Y= 0.3R + 0.59G + 0.11BU = R - Y = 0.7R - 0.59G - 0.11B (Différence des Rouges)V = B - Y = -0.3R - 0.59G + 0.89B (Différence des Bleus)
R = Y + UG = Y - (0.3/0.59)U - (0.11/0.59)VB = Y + V
• Transformation Réelle : codée : 0 - 255:Y= 0.3R + 0.59G + 0.11BU = 128.0 (0.7R - 0.59G - 0.11B )/255.0 + 128.0V = 128.0 (-0.3R - 0.59G + 0.89B )/255.0 + 128.0
R = Y + 255.0 U /128.0 – 255.0B = Y + 255.0 V /128.0 – 255.0G = Y - (0.3*255.0/(0.59*128.0))U - (0.11*255.0/(0.59*128.0)V + 0.41*255.0/0.49
Le Format YUV
255
1.0
RGBY normalisés
RGBY dans l’image
Les Formats YUV : Compression des Bandes U et V
• Œil : Sensible Luminance, mois à la Chrominance• Compression peu Visible à l’Oeil• Compression des bandes U et V :
�Quantifie le rapport à la Luminance,• Diverses Possibilités : compression
�4.2.2 : ordre des pixels Y1U1Y2V1...�4.1.1�4.2.0
Exemple de Traitement d’une Image YUV comprimée 4.2.2
• Changement d’Espace : RGB ���� YUV� Transformation Matricielle entre espaces 3D : Long !� A réaliser en chaque Pixel !!!
• Traitement Temps Réel Embarqué :� Impossibilité d’effectuer cette Transformation� Sortie Caméra : YUV => Traitements en YUV
• Exemple : Sortie YUV : comprimée 4.2.2� Décompression NAO : 50 ms !!! Refaire les pixels manquants� Traitement en format comprimé
• Sortie YUV : comprimée 4.2.2 : Récupération des Infos de Chrominance :� Flux Vidéo : ….Y1U1Y2V1 …pour 2 pixels� n : numéro du pixel = y * ncol + x (ncol pair : 640, 320, 160)� Y(n) = Buf + 2 * y * ncol + x� U(n) : si n pair : = Y(n) + 1, sinon = Y(n) – 1� V(n) : si n pair : = Y(n) + 3, sinon = Y(n) + 1� Equivalent : zoom 2 par duplication sur U et V !
• Classifieur Parallélépipédique:� 1 parallélépipède par
couleur � Pas assez Précis
• Classifieur SONY : Matériel de Détection des Couleurs sur AIBO :�1 Couleur = 32 parallélépipèdes�8 niveaux de gris selon Y �32 x 4 paramètres à régler par
couleur,�Fusion «Pixel» : classification
couleur en fonction des valeurs YUV, Fusion Bas Niveau : Temporellement très performante
� Idem en logiciel
Y
U
V
255
255
32
Umin Umax
Vmax
Vmim
Classifications Couleur dans l’Espace YUV
• 1 Couleur :� Nuage et Modélisation
• les Couleurs de la RC :� Intersections entre
couleurs
Classification SONY des Couleurs dans l’Espace YUV
• Scène d’Intérieur : Plateau de Spectacle– 4 Projecteurs de 1200W incidence oblique,– Homogène : 4500K et 580 Lux!
• Luminosité trop Intense :– Saturation des Capteurs,– Ombres Portées,– Reflets,– Confusion entre les diverses couleurs
• Différents Aspects des Eléments de la Scène, fonction de leur position sur le terrain, et d’où ils sont observés.
Analyse des Principaux Problèmes : l’Eclairage
• Problème « Important »:� Concerne une grande partie de l’Information� Réduit l’Information « Utile »
Problème de Confusion des Couleurs
• Problème génant pour toutes les équipes :� Mauvais comportement des Robots : Balle vue dans le but !
• Notre Solution : Les Composantes Connexes Confuses� Traiter une couleur confuse, comme une couleur à part,� Extraire les Composantes Connexes de cette Couleur,� Décider en Final de la couleur à Attribuer,� Fusion de la Composante Confuse, à la composante non
confuse de même couleur, voisine• Critère de Décision :
� Nombre de pixels voisins de la composante confuse (obtenu par dilatation), en majporité d’une des deux couleurs
� Technique de vote (Hough !)
Résolution du Problème de Confusion des CouleursLes Composantes Connexes Confuses
• Mal réussi par quasiment toutes les équipes :� Faire varier les conditions d’éclairage en fonction du temps,� Un robot AIBO devait jouer et marquer des buts …
• Notre Analyse� Ne plus utiliser de classification locale, de pixels en couleur,� Utiliser une croissance de régions, classification globale des
régions, moins sensible� Difficulté, à cause du manque de puissance disponible : sous
échantillonnage de l’image• Etude German Team:
� En YUV, les couleurs s’enroulent selon une hélice autour de l’axe Y en fonction de la luminuosité, idem en extérieur.
� Les couleurs sont toujours dans le même sens dans cette hélice
� Prendre en référence le vert du terrain, toujours présent en bas…
• Généralisation:� En changeant d’espace colorimétrique …
Challenge Vision en RoboCup
• A priori un espace « Perceptif » est plus approprié:� Sépare la Luminance, de la teinte et de la saturation… � Également plus proche de la Perception Humaine
• Classification Couleur :� Autre classification : dans ce nouvel espace,� En fonction de la Répartition des Points d’une Même Couleur
• Retour à l’Espace YUV ensuite :� Génération d’une LUT en YUV
Invariance par Rapport aux Conditions d’Eclairage :Recherche de l’Espace Colorimétrique Approprié
• Détermination Manuelle :� Opérateur, non assisté ici … � Assistance possible : à l’Aide s’une segmentation
Exemple de Zones Test (Thèse Th Costis)
• Classification dans HSI:� Couleur : Portion
de l’Espace limitée par 6 plans,
� Peu de paramètres…
Classification Automatique dans l’Espace HSI : Th Costis
• Comparaison :� Des Espaces Colorimétriques … certes, MAIS� Également de la Classification associée…� Classification HSI => LUT YUV : Hors Ligne,� Même rapidité : car classification dans YUV par LUT
• Classification HSI :� Relativement simple : 6 plans, au lieu de 32
parallélépipèdes dans l’espace YUV• Conclusion :
� Résultat bien meilleurs : plus grande robustesse à la variation de l’éclairage,
� Néanmoins, il est beaucoup plus robuste de classifier en couleur une région (ou ensemble de pixels connexes) que les pixels pris séparément !!!
Comparaison des Classifications YUV et HSIRobustesse en Fonction des Variations d’Eclairage
CONCLUSION
RVB
R V B
RVB
R V B
Lissage Lissage Lissage
• Pour les Lissages en RVB:� Séparation des plans,� Traitements N&B
indépendants…� Regroupement de l’image
RVB• Lissages en Espace Autre :
� Idem, car les traitements sont indépendants …
Généralisation des Traitements N&B à la CouleurTraitements de Bas Niveau : Lissages d’Images
• MultiSpectrales :� Peut être RVB, mais également IR, radar etc …� « Registration » : calibration pixel à pixel : chaque pixel
des différentes bandes spectrales voit la même zone de l’espace 3D
• Couleur :� RVB, mais également les différents espaces …
• Primitives MultiSpectrale ou Couleur :� Mêmes types qu’en imagerie Monospectrale ou N&B :
Point d’Intérêt, Contours (diverses possibilités), Régions.� Regroupe les informations multispectrales et ou couleur.
• Définition :� Par extension des définitions en imagerie N&B
Primitives Multi-Spectrales ou Couleur
• Région MultiSpectrale et/ou Couleur :� Zone homogène de l’Image …� Homogénéité dans tous les plans : multispectral ou couleur,� ET LOGIQUE des critères d’homogénéité,� Extension très simple, pour RVB, simple pour YUV ou
autre, par ex : LTS.
Adaptation de la Segmentation Région
Détectionde Régions
N&B
Rouge
Vert
Bleu
Détectionde Régions
Définition des Primitives Multi-Spectrales ou CouleurLa Primitive Région
Exemple de Segmentation en Région CouleurTemporellement Optimisée
• Deux Premières Etapes non Supervisées :�Croissance Hiérarchique et Pyramidale,�Croissance Hiérarchique et Flot de Données,
• Chaque Etape comporte 3 niveaux distincts: �Pyramidal : 3x3, 9x9, et 27x27,�Flot de Données : 27x27, 9x9 et 3x3
• Une Etape Supervisée: en option�Classification Couleur des Régions,�Fusion sur Critère de Classification.
• Effectue une Croissance Parallèle et Isotrope, et garde en mémoire les paramètres des régions initiales 3x3 voisines pour la fusion des régions:
• Valable :�Noir et Blanc,�Couleur RGB,�Couleur YUV, LTS etc …
Croissance Pyramidale
Régions 3x3
Régions 9x9
Régions 27x27
• Deux Paramètres par plan :�seuil local entre intensité des pixels : regroupement 3x3,�Seuil global entre moyennes des régions initiales : autres regroupements
Croissance Pyramidale
� Tous les pixels d’une région carrée ne sont pas nécessairement tous regroupés : la taille 3x3, 9x9 et 27x27 est le maximum.� Il reste des Pixels isolés,� La Connexité est Testée pour chaque Fusion
Croissance « Flot de Données » :Régions Testées et Critères de Connexité
�Critère d’Intensité :Moyenne des intensités des Régions Initiales 3x3� Critère de Connexité :Présence de 2 pixels adjacents
Croissance Pyramidale : en Image
Image Originale
Regroupement 3 x 3
Regroupement 9 x 9
Regroupement 27 x 27
Regroupement « Data Flow» : en Image
Image Originale
Regroupement 27 x 27
Regroupement 9 x 9
Regroupement 3 x 3
Regroupement Supervisé « Couleur »
• Basé sur la Classification Couleur des Régions :�Classification Sony YUV,�Mais possible avec toute autre classification, telle que
HLS,• Segmentation « Supervisée », par la classification. • Même étape que pour la croissance Pyramidale 9x9:
�MAIS: Si les régions initiales 3 x 3 adjacentes testées sont de la même couleur :
= >Les Régions auxquelles elles appartiennent sont fusionnées
Regroupement Couleur: en Image
Segmentation Non Supervisée
Segmentation avec le Regroupement Couleur: Les ombres sont regroupées
Résultat de la Segmentation en Régions Couleur : Non Supervisée
• Bon comportement, même sur des images d’extérieur, plus complexes !
Retour sur les Paramètres de Contrôle
• Deux paramètres de Contrôle par plan, que l’on peut réduire à un :�Le second paramètre : seuil sur les moyennes, est plus
tolérant que le seuil sur les différences d’intensité.• 3 plans que l’on peut réduire à un également :
�Pour RVB : même paramétrage,�Pour YUV : même paramétrage pour U et V, plus
tolérant que pour Y,�Pour LTS, à étudier, mais même principe : réduction du
nombre de paramètres• Intérêt de la Diminution du Nombre de Paramètres:
�Auto-ajustement des paramètres, en fonction des conditions d’éclairage, pour des applications en environnement extérieur, sur une longue période.
Segmentation avec Changement d’Espace Colorimétrique
• Changement d’Espace à Bas Niveau :�En chaque pixel : Long !! N x M pixels (taille de
l’image!)�Segmentation puis Classification dans le Nouvel Espace,
• Après une Segmentation en Régions : �Segmentation en Régions dans l’Espace original,�Calcul des Attributs Photométriques dans le Nouvel
Espace uniquement des régions constituées : quelques centaines de régions au maximum,
�Classification dans le Nouvel Espace,�Hypothèse : Segmentation en Régions possible dans le
Nouvel Espace !
• Contour MultiSpectrale et/ou Couleur :� Zone filiforme de transition entre deux zones homogènes de
l’Image …� Point de Contour : point siège de différences locales, dans
au moins l’un des plans multi-spectraux / couleur,� Nécessite une étape supplémentaire de fusion des gradients
des plans spectraux en un gradient multispectral.
Adaptation de la Segmentation Contour
« Gradient »
N&B
« Gradient »
Rouge
« Gradient »
Vert
« Gradient »
Bleu
Affinage,Chaînage
Affinage,Chaînage
Fusion
Définition des Primitives Multi-Spectrales ou CouleurLa Primitive Contour
RVB
R V B
||Gr|| Arg(Gr)
Gradient Gradient Gradient
||Gv|| Arg(Gv) ||Gb|| Arg(Gb )
||Gc|| A r g(Gc)
Fusion
• Fusion du Gradient:� Gradients R,V,B, soit
6 images� gradient couleur : 2
images,� Gradient Couleur :
Même nature qu’un gradient N&B,
� Même suite des Traitements,
� Mêmes paramètres de contrôle
• Espace autre que RVB:� Méthodologie
Identique
Exemple Simple : Contour en RVB : Etape de Fusion des Gradient
Image Couleur
Kirsh à 4 Directions
Argument du Gradient Rouge
Norme du Gradient Rouge
Plan Rouge
Plan Rouge Lissé
Argument du Gradient Vert
Norme du Gradient Vert
Plan Vert
Kirsh à 4 Directions
Plan Vert Lissé
Lissage Optionnel
Kirsh à 4 Directions
Argument du Gradient Bleu
Norme du Gradient Bleu
Plan Bleu
Plan Bleu Lissé
Separation des Plans
Seuillage sur la Norme du Gradient
Calcul du Gradient Couleur
Argument du Gradient Couleur
Norme du Gradient Couleur
Premiers Points de Contour Couleur
Affinage
Points de Contour Couleur
Prolongation des Contours
Points de Contour Couleur
Chaînage des Contours
Etiquettes des Contours Couleur
Points de Contour Couleur
Structure de Données desContours Couleur
Lissage Optionnel Lissage Optionnel
Exemple Simple : Contour en RVB
• Ne pas Comparer des Données Inhomogènes :� Ex : Uet V n’ont pas de rapport avec Y, et sont plus bruitées.� Idem : RVB, et IR ou Radar en Multi-Spectral
• Gradient YUV :� = gradient de la composante Y, si gradient suffisant,� = max du gradient des composantes U et V sinon.
• Affinage :� Ne conserve que le pixel de norme de gradient maximale,
dans la direction du gradient,� Nécessite la comparaison de la norme du gradient entre deux
pixels• Comparaison des norme de Gradient YUV : Priorité Y
� Si les deux gradients en Y sont suffisants : comparaison dans le plan Y,
� Si seulement l’un des deux : le plan Y est prépondérant,� Si aucun des 2 : Comparaison des gradients des plans U et V
Exemple Complexe : Contour en YUV ou MultiSpectral :
• En Multi-Spectrale : Notion de Pertinence : Transformée de Hough� Impossible de comparer les gradients : Visible, IR, Radar,� Affinage dans chacun des plans, et second affinage sur la
pertinence,� Pertinence : Nombre de plans dans lequel le point est de
contour en mono spectral : technique de vote = Transformée de Hough !!
• Second Affinage : sur la Pertinence :� Affinage, mais la Pertinence à la place de la norme du
gradient.• Méthodes plus complexes : classiques en Fusion de Données.
� Logique floue,� Probabilité, Possibilités …
Exemple Complexe : Contour en YUV ou MultiSpectral(suite et fin)
• Optique de Bas Coût :� AIBO ERS7 : 1000€� Halo bleu autour de
l’image … � Aberration radiale,
croissante en fonction du rayon
Aberration Chromatique
• Image d’une Zone Uniforme de la Scène:� Généralement : Région Blanche,� Référence : Valeur au Centre de l’Image,� Recherche, par un moindre carré, d’une déformation
polynomiale en r.
Quantification de l’Aberration ChromatiqueTh Costis : Equipe : Les 3 Mousquetaires
• Décriée par certains labos …:� Utilisation de caméras à qq milliers d’€ !,
• Intérêt Economique :� Permet l’utilisation d’une caméra à bas coût,� Produit moins cher : exemple robot de compagnie (jeu,
MAIS également d’assistance à personnes âgées, handicapées etc …)!!!
Intérêt d’une Telle Recherche
Indexation par le Contenu
• Existence d’Importantes Bases de Données Image :� Organisation, pour accès rapide� Recherche rapide, accès au contenu de la Base de Données,
• Avant : Indexation par Annotations Textuelles :� Recherche par mots clefs, titre, auteur etc… � Long et coûteux, subjectif, pb de changement de langue,
• Recherche par le Contenu Visuel :� Requête : une image donnée,� Recherche des images similaires de la Base de Données,
• Deux Types :� Recherche par mesure de similarité,� Bouclage par Pertinence : Recherche par Apprentissage.
L’opérateur classe les images ramenées : pertinentes, non pertinentes. Intégration de cette annotation dans la mesure de similarité,
Indexation par le Contenu
• Utilisation : « Système Industriel »� Contrôle de la Diffusion vers l’extérieur des images
confidentielles de l’entreprise,� Vérification des images sur les sites web tiers : détection
des copies partielles ou totales,• Utilisation : « Robotique »
� Le robot dispose d’un certain nombre de prises de vues de son environnement,
� S’il est perdu : il fournit au système ce qu’il voit : le système fournit l’image la plus semblable : localisation grossière…
• Critères :� Pertinence et Robustesse des Retours,� Rapidité de la Recherche,
• Eléments Clefs pour l’Image:� Attributs Significatifs : Couleur / Texture / Forme,� Métrique de Similarité, ou Différence
Descripteurs et leur Utilisation
• Couleur :� Histogramme : distance entre histo,� Moments Statistiques : moyenne, écart type, 3èmeordre� Quantification : Palette des Couleurs
• Forme :� Points d’Intérêt (Harris, SUSAN …) + descripteur de
forme (moments de Zernike), ou association RANSAC• Texture :
� Matrices de Co-Occurrence, Auto-Corrélation• Classification de la Base de Données :
� recherche des attributs les plus discriminants,� Organisation de la Base de Données en Fonction de ces
Attributs => Organisation en Classes, Sous Classes, Sous-Sous Classes etc … HORS LIGNE : algorithmes complexes
� Rapidité de la Recherche : EN LIGNE : la requête n’est pas comparée à toutes les images, mais orientée vers la classe, puis la sous classe et …etc les images de descripteurs les plus proches.