GERBILGesture Recognition using a Brain Lightweight Headset

Joël Dumoulin

DÉFENSE DE THÈSE – MARS 2011

Responsables Elena MugelliniOmar Abou KhaledFrancesco Carrino

Experts Ricardo ChavarriagaJacques Bapst

Mots clés Brain Computer Interface, Capteurs, Interaction/Interface Homme Machine

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

2

Sommaire

• Introduction

• Etat de l'art

• Analyse

• Conception

• Implémentation

• Conclusion

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

3

Introduction

• GERBIL – GEsture Recognition using a BraIn Lightweight Headset• Reconnaissance de gestes en utilisant un dispositif neuronal léger

• Domaine du BCI

• Reconnaissance de gestes• Capteurs physiologiques

• Chaise roulante électrique• Contrôle : interface neuronale

IntroductionEtat de l'art

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

4

Contexte

• MAGI [1]• Thèse de doctorat de Francesco Carrino• Intégration de capteurs physiologiques

• Système de reconnaissance de gestes Enrichir la capacité à contrôler les objets de tous les jours

• Casque Emotiv EPOC [2]• Projets internes récents• Traitement peu fiable

Traitement des signaux bruts

• SmartWheelchair

IntroductionEtat de l'art

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

5

Objectifs

• Etat de l'art• BCI• Gesture Recognition• BCI & Gesture Recognition

• Analyse technologique• Casque EPOC• Framework OpenVibe• SmartWheelchair

• Développement• Système BCI

• Démonstrateur• Piloter la SmartWheelchair

IntroductionEtat de l'art

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

6

Etat de l'art

• Qu'est-ce qu'un système BCI?

• Que signifient les termes EEG, ECoG, ERD, ERS?

• Quelles sont les possibilités et techniques?

Objectif : parcourir la littérature scientifique Répondre à ces questions Acquérir les connaissances nécessaires à la mise en place d'un

système BCI

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

7

BCI

• Brain Computer Interface (Interfaces Neuronales Directes)

• Interface de communication directe • Cerveau dispositif électronique

• Assister, améliorer, réparer des fonctions humaines de cognition ou d'action défaillantes

• Champs d'applications variés• Assistance aux personnes handicapées• Jeux vidéo• …

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

8

BCIIntroduction

Etat de l'artAnalyse

⌃

[3]

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

9

BCIIntroduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

10

Dispositifs d'enregistrements

• Enregistrement de l'activité électrique• Dispositifs invasifs• Dispositifs partiellement invasifs• Dispositifs non invasifs

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

11

EEG

+ Technologie non invasive la plus utilisée

+ Facile à mettre en place

+ Economique

+ Bonne résolution temporelle

+ Pas de risques pour le sujet

− Signal bruité

− Nécessite un entrainement intensif du patient

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

12

Techniques

• P300

Introduction

Etat de l'artAnalyse

⌃

H

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

13

Techniques

• SSVEP

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

14

Imagerie motrice

• Imagination d'un mouvement• Main gauche / main droite / pied ( / langue)Oscillations particulières des ondes cérébrales : ERD / ERS

• ERD / ERS – Event Related Desyncronization / Syncronization• Diminution / augmentation d'amplitude des rythmes mu/beta

• Changements occasionnés

• Imagination ≅ réalisation "Reconnaissance de gestes" (2-4 gestes maximum)

Introduction

Etat de l'artAnalyse

⌃

[4]Main droite Pieds Main gauche

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

15

Graz [5, 6]

• Scénario de stimuli, précisant le paradigme de base• Le sujet effectue une tâche mentale en réponse à un stimulus

donné

• Acquisition d'échantillons pour la phase d'entrainement• Entrainer le classifieur (algorithme de classification)• En analysant les caractéristiques des signaux (ERD/ERS), en

fonction des stimuli (gauche / droit)

Introduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

16

GrazIntroduction

Etat de l'artAnalyse

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

17

AnalyseEPOC [2]

+ Facilité de mise en place et d'utilisation

+ Prix

− Qualité des signaux (bruités)

− Placement approximatif du casque (capteurs)

− Suite logicielle fermée

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

18

OpenVibe [7]

• Framework Open Source

• Base solide + fonctionnalités avancées pour facilement• Concevoir …• Mettre en place … • Connecter à un environnement de réalité virtuelle …… un système BCI

• Caractéristiques• Modularité• Différents types d'utilisateurs impliqués• Portabilité• Connexion avec la réalité virtuelle (VRPN)

• Driver pour le casque EPOC

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

19

OpenVibe

• OpenVibe Designer

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

20

OpenVibe

• Visualisations

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

21

OpenVibe

• Stimuli visuels

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

22

SmartWheelchair

• Interfaçage : RS232

• Contrôle via Joystick virtuel

Etat de l'art

AnalyseConception

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

23

Conception

• Vocabulaire←Main gauche→Main droite• Mouvements "économiques"

• Architecture

Analyse

ConceptionImplémentation

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

24

Scénarios OpenVibe

• Acquisition

Analyse

ConceptionImplémentation

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

25

Scénarios OpenVibe

• Entrainement du classifier

Analyse

ConceptionImplémentation

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

26

Scénarios OpenVibe

• Online Graz

Analyse

ConceptionImplémentation

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

27

Application GERBILAnalyse

ConceptionImplémentation

⌃

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

28

ImplémentationBonnet d'expérimentation• Constance dans le placement des capteurs

• Localisation des positions C3/C4

Conception

ImplémentationConclusion

⌃

[8]

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

29

VidéoConception

ImplémentationConclusion

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

30

ConclusionProblèmes rencontrés• Spécialiste BCI

• OpenVibe• Forum

• Casque EPOC• Batterie faible pertes de connexion

• Acquisition des données d'entrainement• Tâche "pénible"• Entrainement : validité temporaire (position du casque)• Pas le cobaye adapté!

Implémentation

Conclusion

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

31

Objectifs atteints

• Objectifs fixésEtat de l'art

• base de connaissance complèteAnalyse technologique

• Informations sur les éléments logiciels et matérielsSystème BCI

• fonctionnel• facilitera le travail futur

Prototype• contrôle de la chaise• configuration flexible• (mais nécessite clairement une amélioration des taux de

classification)

Implémentation

Conclusion

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

32

Améliorations

• OpenVibe• Formats de fichiers d'enregistrement• ERD/ERS

• Visualisation / quantification• Algorithmes de classification

• > 2 classes

• Application GERBIL• Eléments de configuration (partie VRPN)• Eléments statistiques• Statistiques Graz• Faire évoluer le paradigme pour l'utilisation en-ligne

Fenêtre temporelle

Implémentation

Conclusion

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

33

Perspectives futures

• Approfondir les tests• Cobayes

• Améliorer les taux de classification, afin de déterminer si le casque EPOC est réellement utilisable ou non• > 75%

• Développer de nouveaux prototypes• Systèmes de navigation virtuelle

• Google Earth• Google Street View• Google Art Project• …

• Contrôle de bras robotisés• …

Implémentation

Conclusion

⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

34

Impressions personnelles

• Projet ludique

• Cadre motivant• "Aide aux personnes handicapées"

• Objectifs fixés : atteints

Implémentation

Conclusion

⌃

Merci de votre attention!

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse

36

Références

[1] Francesco Carrino. MAGI System – Mind Augmented Gesture Interaction. http://magisystem.project.eia-fr.ch

[2] Emotiv systems. Emotiv – BCI Technology. www.emotiv.com

[3] J.R. Wolpaw, N. Birbaumer, D.J. McFarland, G. Pfurtscheller, and T.M. Vaughan, "Brain-Computer interfaces for communication and control," in Clin Neurophysiol., 2002, vol. 113, pp. 767-791.

[4] G. Pfurtscheller and C. Neuper, "Motor imagery activates primary sensorimotor area in humans," in Neurosci. Lett., 1997, vol. 239, pp. 65-68.

[5] Laboratory of Brain-Computer Interfaces – Graz. http://bci.tugraz.at

[6] G. Pfurtscheller and C. Neuper, "Motor Imagery and Direct Brain-Computer Communication," in Proceedings of the IEEE., 2001, vol. 89, pp. 1123-1134.

[7] INRIA – Institut national de recherche en informatique et automatique. OpenVibe. http://openvibe.inria.fr

[8] Répartition spatiale du système 10-20. www.bem.fi/book/13/13.htm