17
Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures Drones et vision par ordinateur embarquée un survol Samuel Foucher 1 Kevin Heffner 2 Tom Landry 1 1 Équipe vision et imagerie Centre de recherche informatique de Montréal [email protected] 2 Pegasus Research & Technologies [email protected] 29 octobre 2015 Atelier sur les drones, AQT’2015 1 / 17

Drones et vision par ordinateur embarquée - un survol · Atelier sur les drones, AQT’2015 15 / 17. Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances

Embed Size (px)

Citation preview

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Drones et vision par ordinateur embarquéeun survol

Samuel Foucher1 Kevin Heffner2 Tom Landry1

1Équipe vision et imagerieCentre de recherche informatique de Montréal

[email protected]

2Pegasus Research & [email protected]

29 octobre 2015

Atelier sur les drones, AQT’2015 1 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Sommaire

1 ContexteContexte technologiqueVision par ordinateurTraitements par GPU

2 Besoins3 Librairies

ROSOpenCV

4 SLAMPrincipeSLAM visuel

5 Détection de points-clésPrincipeSIFTApplications

6 ExemplesNavigation visuelle pour vol sansGPSÉvitement d’obstaclesRecherche et sauvetage

7 Tendances futures

Objectifs de la présentation

1 Vision par ordinateur embarquée

2 Principes généraux de ces techniques(introduction)

3 contraintes, défis, potentiel

4 Exemples

5 Futures tendances

Atelier sur les drones, AQT’2015 2 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Contexte technologique

Contexte technologique

SWaP++ :

Size (Taille)

Weight (Poids)

Power (Besoinsénergetiques)

Performance

Price (Coût)

Atelier sur les drones, AQT’2015 3 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Vision par ordinateur

Vision par ordinateur

La vision par ordinateur a pour but principal de permettre à une machined’analyser, traiter et comprendre une ou plusieurs images prises par un systèmed’acquisition (caméras, etc.).

Essor important avec l’avénément des caméras numériques à haute résolution,des capacités de calcul accrues (e.g. GPU) et de l’intelligence artificielle (MachineLearning)

Applications nombreuses :

Reconnaissance dobjets ou de lieux

Navigation visuelle

Reconstruction 3D

Suivi de cibles

Détection d’anomalies

Librairies dans le domaine publique :

OpenCV

ROS

PCL

ArrayFire

Atelier sur les drones, AQT’2015 4 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Traitements par GPU

Traitements par GPU

General-Purpose computing on Graphics Processing Units (GPGPU)

Avantages

Puissance de calcul : x10 en terme deGFLOPS

Calcul parallèle massif

Nouveaux GPU : Tegra, SnapDragonNombreuses librairies :

CUDA, ArrayFire, OpenCLOpenCV supporte CUDA

Inconvénients

Transferts CPU-GPU coûteux

Hautement parrallèle, codagecomplexe

Atelier sur les drones, AQT’2015 5 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Pourquoi la vision par ordinateur embarquée ?

Aspects critiques pour la mission

Navigation :Planification de trajectoiresLocalisationGeofencing

Environnement :GPS-deniedÉvitement dobstaclesCollaboration Multi-robots

Décollage et atterrissage automatique

Vers une autonomie complète

Tâches reliées aux applications

Cartographie de l’environnement

Détection d’objets

Détection d’anomaliesAmélioration des vidéos :

De-hazingStabilization d’imagesSuper résolutionAmélioration du contraste

Compression de données

La vision par ordinateur combinée avec les données de l’IMU (attitude,accélérations,...) peut améliorer la précision et la robustesse de la navigation

Une solution par vision par ordinateur est intéressante pour les petits drones (<2.0 kg) pour certaines problématiques (navigation intérieure, etc.)

Atelier sur les drones, AQT’2015 6 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

ROS

Robotic Operating System

Framework pour le développement de logiciels en robotique

Collections d’outils et delogiciels

Communications

Multi-languages

Outils de diagnostic

Outils de simulation

Abstraction du matériel(hardware)

Atelier sur les drones, AQT’2015 7 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

OpenCV

Open Computer Vision (OpenCV)

Librairie en traitement d’image

Techniques de base :Filtres, contours, transformation,segmentation

Analyse :Détection de points clés, suivi de cible,matching

Imagerie 3D

Apprentissage par ordinateur

Peut utiliser CUDA ou Intel IPP

Atelier sur les drones, AQT’2015 8 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Principe

Simultaneous Localization and Mapping (SLAM)

Exemple d’algorithme en vision pour des systèmes embarqués

Problèmes à résoudre

localisation du drone : Où est ledrone ?

Cartographier l’environnement autourdu drone

Peut utiliser du sonar, un laser ou unecaméra

Atelier sur les drones, AQT’2015 9 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

SLAM visuel

SLAM visuel

Caméra + SLAM = SLAM visuel (VSLAM) monoculaire utilise linformation visuelle(points-clés)

RGB-D ou caméra stéréo minimise directement l’erreur photométrique

Atelier sur les drones, AQT’2015 10 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Principe

Détection de points-clés (keypoints)

Les point-clés (keypoints) sont des points saillants de l’image

Propriétés recherchées :

Robustesse :apparence (illumination, occlusion,etc.)changements de point de vue

Description locale

Description propre et distincte

Quantitié

Rapidité de calcul

Beaucoup de techniques différentes

Harris, SURF, SIFT, ORBE, FAST, etc.

Atelier sur les drones, AQT’2015 11 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

SIFT

Scale-Invariant Feature Transform (SIFT)

Un des algorithmes les plus populaires

Étapes :

1 Détection de points d’intérêts (coins)

2 Analyse multi-échelles des gradientslocaux

3 Formation d’une signature

David G. Lowe, Object recognition from local scale-invariant features, Proceedings of the International Conference on Computer Vision, vol.2, 1999, p. 11501157.

Atelier sur les drones, AQT’2015 12 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Applications

Applications des points-clés

Nombreuses applications en vision :

Suivi dobjets automatiques

Calcul de cartes de disparité

Calibration stéréo

Estimation de la matrice fondamentale

Segmentation du mouvement

Reconnaissance dobjets 3D

Navigation robotique

Indexation et recherche dimages

Atelier sur les drones, AQT’2015 13 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Navigation visuelle pour vol sans GPS

Navigation visuelle pour vol sans GPS

Utilisation d’une technique vSLAM embarquée

Limitations de la navigation avec GPS :

Précision de ± 2.5m

Pas de navigation intelligente

Bruité ou peu fiable en milieu urbaindense

Impossible à lintérieur de bâtiments

Solutions possibles :

Navigation inertielle de hauteprécision (coûteux et lourds)

Laser range finders (coûteux et lourds)

Caméras (odométrie visuelle)

K Ok, D Gamage, T Drummond, F Dellaert, N Roy, Monocular ImageSpace Tracking on a Computationally Limited MAV, ICAR, 2015.lien vidéolien vidéo

Atelier sur les drones, AQT’2015 14 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Évitement d’obstacles

Évitement d’obstacles

L’évitement d’obstacles est critique pour l’utilisation sécuritaire des drones

La détection d’obstacles par caméra est intéressante pour les petits drones

Différentes approches

Flot optiqueVision monoculaire :

PerspectiveTaille relative

Vision stéréoCapteurs actifs

SonarLIDARRADAR T. Mori and S. Scherer, First Results in Detecting and Avoiding

Frontal Obstacles from a Monocular Camera for Micro UnmannedAerial Vehicles, ICRA, 2013.lien vidéo

Atelier sur les drones, AQT’2015 15 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Recherche et sauvetage

Recherche et sauvetage localisée

Projet mené actuellement par Pegasus

Déploiement rapide

Utilisation de caméras FLIR et optique

Recherche de points chauds

Trajectoire de recherche optimale

Atelier sur les drones, AQT’2015 16 / 17

Contexte Besoins Librairies SLAM Détection de points-clés Exemples Tendances futures

Tendances futures

Traitements nuagiques (Cloudcomputing) : CloudCV, BrainOS

Traitements spécialisés par GPUembarqué

Capteurs intelligents évolués

Collaboration multi-robots (e.g.swarm)

Interfaces homme-machineintelligentesIntelligence artificielle :

Délibaration (planification, exécution,monitoring, etc.)Deep Learning

Atelier sur les drones, AQT’2015 17 / 17