La vision par ordinateur pour les sciences du végétal. Les capteurs de profondeur

La vision par ordinateurpour les sciences du végétalLes capteurs de profondeur

Yann CHÉNÉ[email protected]

Yann CHÉNÉ La vision par ordinateur pour les sciences du végétal - Les capteurs de profondeur INRA d’Angers - 8 novembre 2013 1/ 59

Centre INRA d’Angers, le 8 novembre 2013

Laboratoire d’Ingénierie des Systèmes Automatisés (LISA EA 4094)Université d’Angers, France.

Yann CHÉNÉ, Doctorant en 3ème année de thèse (fin septembre 2014)


• Mon Laboratoire :

Laboratoire d’Ingénierie des Systèmes Automatisés à Angers(LISA, futur LARIS)

• Mes directeurs de thèses :

François Chapeau-Blondeau, Université d’Angers (LISA)David Rousseau, Université de Lyon 1 (CREATIS)

• Le reste de l’équipe :

Étienne Belin (maître de conférence) et Landry Benoit (doctorant)

• Les thématiques de l’équipe :

Équipe-Projet n°3 : Traitement de l’information pourles processus physiques complexes (bruit stochastique, végétal,...)

• Mon sujet de thèse :

Traitement et analyse statistique de l’information pour l’imagerie 3D :application au domaine biovégétal

• En complément :

Auto-entrepreneur en développement, conseil et formationen vision par ordinateur (CV4P)

La vision par ordinateur pour les sciences du végétal


Objet

• Plante simple

• Plante complexe

• Plante en pot

• ...

Environnement

• Chambre deculture

• Serre

• Champ

Capteur

• Couleur

• 3D

• Thermographie

• ...

Mouvement

• Convoyage

• Robot

Contrôle

• Bureau

• Smartphone

• Tablette

La vision par ordinateur pour les sciences du végétal


Objet

• Plante simple

• Plante complexe

• Plante en pot

• ...

Environnement

• Chambre deculture

• Serre

• Champ

Capteur

• Couleur

• 3D

• Thermographie

• ...

Mouvement

• Convoyage

• Robots

Contrôle

• Bureau

• Smart-Phone

• Tablette

Le facteur humain

Les sciences du végétal : les objets


Plusieurs échelles :

• Graine

• Plantule

• Racine

• Plante mono-axiale

• Plante au feuillage complexe

• Arbre

• Canopée

Les sciences du végétal : les capteurs


Les capteurs physiologiques :

• Capteur couleur

• Capteur de thermographie

• Capteur de fluorescence de chlorophylle

• Capteur hyperspectral

Les capteurs architecturaux :

• Capteur couleur

• Capteur de profondeur

L’architecture des plantes : les capteurs couleur


La photogrammétrieExploitation d’une image couleur pour tirer des

informations architecturales de la plante

Calculs sur des images binaires

Extrait de [1]

Détection de repères

Extrait de [2]

Mesures semi-automatiques

[1] M. R. GOLZARIAN et al. “Accurate inference of shoot biomass from high-throughput images of cereal plants”. Plant Methods 7 (2011), p. 2–12[2] M. MIELEWCZIK et al. “Diel leaf growth of soybean : a novel method to analyze two-dimensional leaf expansion in high temporal resolution basedon a marker tracking approach (Martrack Leaf).” Plant Methods 9 (2013), p. 30–33

L’architecture des plantes : les capteurs de profondeur


Le capteur de profondeurRetranscrit la distance entre le capteur et

les objets du premier plan de la scène

Image couleur Image de profondeur Nuage de points

[3] Y. CHÉNÉ et al. “A motorized depth-imaging sensor to characterize the shoots of entire plants from multiple side views”. Computer Vision andApplications soumis (2013)



Le capteur de profondeurUtilise des méthodes optiques actives ou passives

[4] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)



Le capteur de stéréovisionDétermine l’information de profondeur à partir de2 images acquises de 2 points de vue différents

Mouvement du capteur

Extrait de [5]

Mouvement de la plante

Extrait de [6]

[5] T. T. SANTOS et al. “Image-based 3d digitizing for plant architecture analysis and phenotyping”. Conference on Graphics, Patterns and Images.Ouro Preto, Brésil, 22–25 août 2012[6] A. PAPROKI et al. “A novel mesh processing based technique for 3D plant analysis”. BMC Plant Biology 12 (2012), p. 63–65



Le capteur à éclairage structuréDétermine l’information de profondeur à partir de la déformation

d’un pattern structuré projeté sur la plante

Un seul pattern

Extrait de [7]

Plusieurs patterns

Extrait de [8]

[7] T. MANGOLDT et al. “A system for recording 3D information with applications in the measurement of plant structure”. 4th International Workshopon Functional-Structural Plant Models. Montpellier, France, 7–11 juin 2004[8] C. BELLASIO et al. “Computer reconstruction of plant growth and chlorophyll fluorescence emission in three spatial dimensions”. Sensors 12(2012), p. 1052–1071



Le capteur ToFDétermine l’information de profondeur à partir

du temps de vol aller/retour d’un pulse de lumière

Extrait de [9]

[9] R. KLOSE et al. “Usability study of 3D Time-of-Flight cameras for automatic plant phenotyping”. Bornimer Agrartechnische Berichte 69 (2009),p. 93–105



Le Scanner 3D à laserDétermine l’information de profondeur à partir

de données acquises point à point par triangulation laser

Un nuage de points

Extrait de [10]

Un nuage de points texturé

Extrait de [11]

[10] U. WEISS et al. “Plant detection and mapping for agricultural robots using a 3D LIDAR sensor”. Robotics and Autonomous Systems 59 (2012),p. 265–273[11] K. OMASA et al. “3D lidar imaging for detecting and understanding plant responses and canopy structure”. Journal of Experimental Botany 58(2007), p. 881–898



Le capteur de profondeurComment choisir ?

Méthode Coût Précision Encombrement Temps d’acquisitionÉclairage structuré - - + + + - - - - - -

Scanner 3D à Laser - - - + + + - -Stéréovision + + - -Time Of Flight - - + + + + + +

Kinect + + + - - + + + + + +Photogrammetrie + + + - - - - - + + +

=⇒ Caractéristiques à prendre en compte pour le choix d’un capteur de profondeur :• Budget disponible• Plante (taille, complexité)• Conditions environnementales des mesures• Précision des mesures• Nombre d’individus• Vitesse d’acquisition des mesures

=⇒ Objectif de ma thèse :

Montrer les potentialitésd’un capteur de profondeur bas-coût d’introduction récente

pour le phénotypage des végétaux.

La Kinect, un capteur de profondeur bas-coût d’introduction récente


La KinectUn capteur de profondeur grand public

• Piloter sans manette une console de jeu

• 2 capteurs de vision : RVB et profondeur

• Capteur innovant à bas-coût : 100 à 220 e

• De nombreuses applications scientifiques : réalité virtuelle, robotique, reconstruction 3D

• Applications pour les sciences du végétal [3] [4] [12]

[3] Y. CHÉNÉ et al. “A motorized depth-imaging sensor to characterize the shoots of entire plants from multiple side views”. Computer Vision andApplications soumis (2013)[4] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127



La KinectUn capteur de profondeur à éclairage structuré

Extrait de [13] Extrait de [14]

• Éclairage structurée A : grille pseudo-aléatiore de points binaires infrarouges (chaque pointpossède un voisinage unique)

• Capteur CMOS C (filtre infrouge) : capture la déformation de la grille

• Unité de traitement : comparaison de la grille obtenue avec une grille de référence[13] C. Dal MUTTO et al. Time-of-Flight Cameras and Microsoft Kinect. Springer US, 2012[14] J. GENG. “Structured-light 3D surface imaging : a tutorial”. Advances in Optics and Photonics 3 (2011), p. 128–160



La KinectLes caractéristiques du capteur de profondeur

• Profondeur de champ en profondeur : 5.5 m

• Profondeur minimale : 0.5 m (résolution du capteur)

• Profondeur maximale : 6 m (atténuation des infrarouges)

• Taille des images de profondeur : 480×640 pixels

• Taille du nuage de points : 307 200 points (= 480×640)

• Fréquence des images de profondeur : 30 images par seconde



La KinectLa précision du capteur de profondeur

Plante artificielle

=⇒ Précision faible avec une évolution quadratique

Capteur de profondeur exploitable pourcertaines problématiques du phénotypage



La KinectUne interface pour les acquisitions



La KinectUne interface pour les acquisitions

Les types d’acquisition :

• Simple (snapshot)

• Vidéo

• Dynamique synchronisée avec un éclairage

• Synchronisée avec un plateau tournant



La KinectVers un capteur de profondeur sans fil

Fonctionnement initial Kinect sans fil

Les capteurs de profondeur pour les plantes


La vision par ordinateurpour les sciences du végétal

Mes collaborations

=⇒ Les plantes mono-axiales :

• Caractéristiques architecturales :

Jessica Bertheloot et Philippe MorelINRA centre Angers-Nantes, équipe ARCH-E, IRHS UMR 1345)

• Caractéristiques physiologiques :

Tristan Boureau et Valérie CaffierAgrocampus-ouest, IRHS UMR 1345

=⇒ Les plantes au feuillage complexe :

Gilles Galopin et Morgan Garbez : Agrocampus-ouest, IRHS UMR 1345Monique Sigogne : INRA centre Angers-Nantes, équipe ARCH-E, IRHS-UMR 1345

[3] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)[4] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127

Le capteur de profondeur et les plantes mono-axiales


Les mesures sur les plantes mono-axialesMes choix technologiques

=⇒ 2 possibilités pour les acquisitions :• 1 seule vue = une image de profondeur à traiter

• Plusieurs vues = reconstruction globale + traitement du nuage de points complet

=⇒ Nos choix :• 1 seule vue de dessus (diminution de la complexité des traitements)

• 1 capteur bas-coût (réplication = hausse des débits)

=⇒ Les mesures :• Mesures architecturales sur les feuilles

• Mesures physiologiques sur les feuilles

[4] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127



La segmentation des feuillesRappel sur la segmentation

La segmentation consiste à partager l’image en régions qui présentent des propriétés homogènes(couleur, profondeur,...)

Image Image segmentée

Masque de segmentation Information individuelle



La segmentation des feuillesÀ partir de l’image couleur

Image couleur = peu de contraste entre les feuilles (vert sur vert)

Segmentation très difficile avec une image couleur



La segmentation des feuillesÀ partir de l’image de profondeur

Feuilles différentes hauteurs et orientations = fort contraste sur l’image de profondeur

Segmentation largement possible avec l’image des profondeurs[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127




Segmentation des feuilles en appliquant une méthode de segmentation basée région

=⇒ Bonne segmentation (chaque objet segmentable est segmenté)

=⇒ Feuilles du rosier non-visibles ou coupées en plusieurs objets[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127




10 rosiers pour un total de 91 feuilles

[12] Y. CHÉNÉ et al. “On the use of depth camera for 3D phenotyping of entire plants”. Computers and Electronics in Agriculture 82 (2012),p. 122–127




67 % des feuilles bien segmentées (visibles et non-découpées)




Les caractéristiques architecturalesDes mesures conventionnelles

La multiplication du masque de segmentation sur l’image de profondeur donne accès à desinformations architecturales de chaque feuille individuelle :

• La hauteur de la feuille (moyenne des pixels, valeur du centre d’inertie ...)

• L’aire visible en mm2 ou l’aire projetée en pixels

• Le périmètre en mm ou le périmètre projeté en pixels

• ...



Les Caractérisques architecturalesL’azimut d’une feuille

=⇒ Définition :

la projection dans le plan (0x , 0y ) du vecteur −→ai reliant lepoint de fixation de la feuille au niveau de l’axe principal à

la “pointe” de la foliole extrême

=⇒ Interprétation des résultats :• Vérité terrain : digitaliseur magnétique MicroScribe G2®

(Immersion Corporation, San José, CA, USA)

• Feuille de référence pour les comparaisons




L’azimut d’une feuilleUne interprétation de la définition

=⇒ Définition :

la projection dans le plan (0x , 0y ) du vecteur −→ai reliant lepoint de fixation de la feuille au niveau de l’axe principal à

la “pointe” de la foliole extrême

=⇒ problème :

Avec une seule vue de dessus, la position du point defixation de la feuille au niveau de l’axe principal ne peut

pas être déterminée




L’azimut d’une feuilleUne interprétation de la définition

L’azimut est l’axe de symétrie de la feuille, il passe donc par le centre d’inertie

Approximation de l’azimut comme la projection dans le plan (0x , 0y ) du vecteur qui relie le centred’inertie visible de la feuille et la pointe de la foliole extrême




L’azimut d’une feuilleSa détection automatique à partir du masque de segmentation

=⇒ Centre d’inertie C : moyenne des coordonnées des pixels de la feuille

=⇒ Pointe de la foliole extrême : analyse de l’évolution des contours du masque desegmentation




L’azimut d’une feuilleSa détection automatique à partir du masque de segmentation

=⇒ 57 % des azimuts détectables (feuilles d’au moins 2 folioles visibles)

=⇒ 5.6 ° d’erreur moyenne (mauvaise détection de la pointe ou déplacement ducentre d’inertie)




Les mesures architecturalesLes conclusions et perspectives

=⇒ Conclusions :

• 1 seule vue = mesures architecturales possibles

• 1 capteur de profondeur bas-coût = réplication du capteur possible

• 1 seule vue + 1 capteur de profondeur = mesures architecturales possibles à hautdébit

=⇒ Perspectives :

• D’autres mesures architecturales (zenith,...)

• Plusieurs vues avec reconstruction complète

• Acquisitions dynamiques



Les Mesures architecturalesLes acquisitions dynamiques

Hauteur de la plante : Mouvements des feuilles :



Les mesures physiologiquesUn capteur multimodalité

=⇒ Les capteurs physiologiques :

• Capteur RVB

• Capteur hyperspectrale

• Capteur de thermographique

• Capteur de fluorescence de cholorophylle

=⇒ Méthodes actuelles pour les acquisitions :

• Acquisition globale sur toute la plante (sans accès aux données des feuillesindividuelles)

• Acquisition sur feuille unique (intrusive ou destructive)





=⇒ Capteur de profondeur + Capteur physiologique :

• Information pour la plante entière

• Information pour chaque feuille individuelle

• Information dynamique




Les mesures physiologiquesLa calibration du capteur multimodalité

Calibration du capteur multimodalité avec la méthode de [15]

Utilisation d’un plan avec un damier

[4] Y. CHÉNÉ et al. “Anatomo-functional bimodality imaging for plant phenotyping : An insight through depth imaging coupled to thermal imaging”.CRC chapter In press (2013)[15] C. HERRERA et al. “Joint depth and color camera calibration with distortion correction”. IEEE Transactions on Pattern Analysis and MachineIntelligence 34 (2012), p. 2058–2064




Projection de l’image de profondeur dans le référentiel du capteur physiologique

Segmentation des feuilles avec l’image de profondeur








Les mesures physiologiquesLes conclusions et perspectives

=⇒ Conclusion :

Physiologie + Profondeur = physiologie sur la plante entière

=⇒ Perspectives :

• Utilisation d’un capteur de profondeur plus précis ou d’un capteur physiologique plusrésolu

• Correction de l’information physiologique

• Suivi dynamique (feuille à feuille et plante entière)


Le capteur de profondeur et les plantes complexes


Les mesures sur les plantes complexesMes choix technologiques

=⇒ 2 possibilités pour les acquisitions :• 1 seule vue = traitement d’une image de profondeur

• Plusieurs vues = reconstruction globale + traitement du nuage de points complet

=⇒ Nos choix :• 72 vues latérales

• Un capteur RVB-Profondeur couplé à un plateau tournant

=⇒ Les mesures :• Mesures sur les images RVB

• Mesures les images de profondeur




Le capteur motoriséLes caractéristiques du système

• Charge maximale : 15 kg

• 72 acquisitions (5°)

• 15 secondes pour la stabilisation

• 20 minutes pour une plante




Le capteur de profondeur motoriséUn exemple de paire d’images



Le capteur de profondeur motoriséLe traitements des images RVB

Exploitation de données relatives en projection

=⇒ Attributs morphométriques (M. Garbez) :

• Compacité

• Symétrie

• Noeuds de l’enveloppe convexe



Le capteur de profondeur motoriséLe traitements des images RVB

• Export sous format txt

• Choix de l’attribut à calculer

• Visualisation de l’évolution autourde la plante

• Possibilité de calculer et exportertous les attributs

Anisotropie avec la rotation



Le capteur de profondeur motoriséLe traitements de l’information de profondeur

Exploitation de données métriques




Le Capteur de profondeur motoriséLe volume effectif

Volume de la plante = somme des volumes locaux

Extrait de [16]

=⇒ 100 mm3 (10*10*1) de différence avec le volume théorique

[3] Y. CHÉNÉ et al. “A motorized depth-imaging sensor to characterize the shoots of entire plants from multiple side views”. Computer Vision andApplications soumis (2013)[16] G. AZZARI et al. “Rapid characterization of vegetation structure with a Microsoft Kinect sensor”. Sensors 13 (2013), p. 2384–2398



Le capteur de profondeur motoriséLe volume effectif




Le capteur de profondeur motoriséLa symétrie 3D

Symétrie parallèle












Le Capteur de profondeur motoriséLe rapport des trous

=⇒ La complexité du feuillage :

Surface de pixels du fondSurface de pixels non definis




le capteur de profondeur motoriséL’analyse multi-échelle

Comptage de boites Intégrale de corrélation




Le capteur de profondeur motoriséLes conclusions et perspectives

=⇒ Conclusions :

• Un capteur RVB-Profondeur motorisé bas-coût pour la caractérisation morphologiquedes plantes complexes

• Analyse des images couleurs (information relative)

• Analyse des images de profondeur (information métrique)

=⇒ Perspectives :

• Discrimination entre les plantes (ornementales)

• Phénotypage architectural

• Sélectionner un nombre minimale de vues


Merci de votre attention

Contact

[email protected]

Documents

La vision par ordinateur pour les sciences du végétal. Les capteurs de profondeur