Introduction à la vision numérique Présentation du plan de cours Lectures supplémentaires: Sonka...

IntroductionIntroductionà la vision à la vision numériquenumérique

Présentation du plan de Présentation du plan de courscoursLectures supplémentaires:Lectures supplémentaires:

Sonka et al: chap. 1Sonka et al: chap. 1

Patrick Hébert (dernière révision août 2008)

Qu'est-ce que la vision Qu'est-ce que la vision numérique?numérique?

• source: • simple ou multiple • ponctuelle ou non• contrôlable ou non

milieu depropagation

action

• traitement• représentation• raisonnement• décision

• caméra:• 1 ou plusieurs• fixe ou mobile• couleur, N&B, IR, X, TeraHz

Processus d’interprétation!

• Objets• statiques ou dynamiques• rigides ou déformables• mats, transparents ou brillants

D’où part-on?D’où part-on?Une image numériqueUne image numérique

*tirée de Trucco et Verri

matrice des valeurs de l'image noir et blanc de l'oeil

Plan du cours – Plan du cours – Une introduction plus 4 Une introduction plus 4 partiesparties1.1. Introduction et mise à jour en Introduction et mise à jour en

mathématiquesmathématiques

2.2. Formation des imagesFormation des images

3.3. Traitement de base d’une imageTraitement de base d’une image

4.4. Traitement multivueTraitement multivue

5.5. Interprétation des imagesInterprétation des images

1- La formation des 1- La formation des images:images: géométrie et géométrie et radiométrieradiométrie Projection, modèles de caméras et Projection, modèles de caméras et

systèmes d’acquisitionsystèmes d’acquisition Radiométrie: lumière, sources, Radiométrie: lumière, sources,

réflectance de surface, définition et réflectance de surface, définition et application de conceptsapplication de concepts

2- Traitement de base 2- Traitement de base d’une imaged’une image BruitBruit FiltrageFiltrage Extraction et description élémentaire Extraction et description élémentaire

de caractéristiques basées sur les de caractéristiques basées sur les pixels: points, régions, contourspixels: points, régions, contours

3- La vision 3D: traitement 3- La vision 3D: traitement multivuemultivue

Quoi?Quoi? Décrire la structure et l'organisation Décrire la structure et l'organisation

des objets dans l'espacedes objets dans l'espace Comment?Comment?

la stéréoscopiela stéréoscopie la vision activela vision active le mouvementle mouvement

Extraction de structures à partir de Extraction de structures à partir de modèlesmodèles(ex: la segmentation)(ex: la segmentation)

Reconnaissance basée sur les Reconnaissance basée sur les modèles spécifiquesmodèles spécifiques

Classification et décisionClassification et décision

4- Interprétation des 4- Interprétation des imagesimages

Des applications de la Des applications de la visionvision Assemblage/inspection/métrologieAssemblage/inspection/métrologie GuidageGuidage SurveillanceSurveillance Communications homme-machineCommunications homme-machine …… Le défi de l’interprétation!

En général, on imposera des contraintes pour simplifier le processus de vision.

Un exemple de ce que Un exemple de ce que vous pourrez faire …vous pourrez faire …

• Segmentation

• Suivi (tracking)

• Homographie

Autre exempleAutre exemple

Un capteur 3D à Un capteur 3D à lumière structuréelumière structurée

Autre exemple réalisé Autre exemple réalisé récemment au labo …récemment au labo …

Deux derniers exemples!Deux derniers exemples!

Suivi de trajectoire Meilleur projet 2007: Le ballon virtuel

Vision vs traitement des Vision vs traitement des imagesimages Le traitement des imagesLe traitement des images

Améliorer une image pour visualisation Améliorer une image pour visualisation (imagerie médicale, astronomie)(imagerie médicale, astronomie)

Restaurer une image: corriger des Restaurer une image: corriger des dégradations (ex: le flou) à partir de dégradations (ex: le flou) à partir de modèlesmodèles

Compresser une image pour Compresser une image pour transmission sur réseautransmission sur réseau

**En traitement d’images, l’interprétation demeure essentiellement au niveau du pixel. L’humain interprète le contenu de l’image.

Exemple de traitement Exemple de traitement d’imaged’image

Tirées de restoreinpaint.sourceforge.net

avantaprès

Autres domaines Autres domaines connexesconnexes

Infographie (synthèse vs analyse)Infographie (synthèse vs analyse) Photogrammétrie (cartographie, Photogrammétrie (cartographie,

mesure)mesure) Reconnaissance de formesReconnaissance de formes

Le modèle humain : Le modèle humain : Vision biologique et Vision biologique et psychophysiquepsychophysique

Une source d'inspiration mais …Une source d'inspiration mais … Voici quelques exemples parmi des Voici quelques exemples parmi des

centaines!centaines!

• tirée de Nalwa

Que voyez-vous?

En êtes-vous sûrs?(faites un suivi avec votre doigt)

La spirale de Fraser

Une image est une Une image est une projectionprojection d'une d'une scènescène réelle. Une même image peut réelle. Une même image peut donc être le résultat de plusieurs donc être le résultat de plusieurs scènes (en théorie).scènes (en théorie).

Il faut donc Il faut donc plusieurs imagesplusieurs images ou ou des des connaissances a priori sur la scèneconnaissances a priori sur la scène si si on veut établir un lien avec le monde on veut établir un lien avec le monde réel 3D.réel 3D.

Un exemple!

Que voyez-vous?

• tirée de Nalwa

Et maintenant?

Il s'agit du même fichier d'image avec une rotation à 180 degrés!

• tirée de Nalwa

Explication: on supposerait que l'éclairage provient du dessus

Références utiles en visionRéférences utiles en vision

sites websites web CVonline: CVonline:

http://http://www.dai.ed.ac.ukwww.dai.ed.ac.uk//CVonlineCVonline computer vision homepage:computer vision homepage:

http://www-2.cs.cmu.edu/http://www-2.cs.cmu.edu/afsafs//cscs//projectproject/cil/ftp/html//cil/ftp/html/vision.htmlvision.html

computer vision bibliography: computer vision bibliography: http://http://iris.usc.eduiris.usc.edu//Vision-NotesVision-Notes//bibliographybibliography//contents.htmlcontents.html

Quelques journauxQuelques journaux International Journal of Computer VisionInternational Journal of Computer Vision IEEE Transactions on Pattern Analysis and IEEE Transactions on Pattern Analysis and

Machine IntelligenceMachine Intelligence Computer Vision and Image UnderstandingComputer Vision and Image Understanding Machine Vision and ApplicationsMachine Vision and Applications Image and vision Computing JournalImage and vision Computing Journal Journal of the Optical Society of America AJournal of the Optical Society of America A Pattern RecognitionPattern Recognition Journal of Photogrammetry and Remote SensingJournal of Photogrammetry and Remote Sensing

Magazines (abonnement Magazines (abonnement gratuit!)gratuit!) Advanced ImagingAdvanced Imaging Vision and System DesignVision and System Design

ConférencesConférences International Conference on Computer Vision (ICCV)International Conference on Computer Vision (ICCV) International Conference on Computer Vision and International Conference on Computer Vision and

Pattern Recognition (CVPR)Pattern Recognition (CVPR) European Conference on Computer Vision (ECCV)European Conference on Computer Vision (ECCV) International Conference on Image Processing (ICIP)International Conference on Image Processing (ICIP) International Conference on Pattern Recognition International Conference on Pattern Recognition

(ICPR)(ICPR) International Conference on Recent Advances in 3-D International Conference on Recent Advances in 3-D

Modeling and Imaging (3DIM)Modeling and Imaging (3DIM)

Outils mathématiques et Outils mathématiques et librairie utileslibrairie utiles Numerical RecipesNumerical Recipes Matlab Matlab MathematicaMathematica

OpenCV OpenCV http://opencvlibrary.sourceforge.net/http://opencvlibrary.sourceforge.net/