Upload
phyllis-warren
View
26
Download
2
Tags:
Embed Size (px)
DESCRIPTION
Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance. - PowerPoint PPT Presentation
Citation preview
Détection d’hypovigilance chez le conducteur par fusion d’informations
physiologiques et vidéo
Soutenance de thèse d’ Antoine Picot
Lundi 9 novembre 2009
2
L’hypovigilance
Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…
Dégradation des facultés de conduite
Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)
Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)
3
État de l’art
Deux types d’approches:
Orientée véhicule
Position du véhicule sur la route
Mouvements du volant
Pression pédale de frein
Vitesse
Orientée conducteur
Activité cérébrale
Clignements des yeux
Bâillements
Direction du regard
Expression
Température
4
SituationRessenti au volant:
Difficulté à garder les yeux ouvertsManque de réactivité
Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire (Renner & Mehring, 1997)
Majorité des systèmes: soit orientés physiologie, soit vidéo
Détection d’hypovigilance par fusion des informations cérébrales et visuelles
5
Plan de la présentation
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
Détection d’hypovigilance par analyse de l’activité cérébrale
7
Difficultés
Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)
Obtention de données cérébrales d’hypovigilance
Expertise de ces données
S’affranchir des différences interindividuelles
8
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale1. Caractérisation de l’hypovigilance par EEG
2. Système de détection
3. Données de validation
4. Résultats obtenus
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
9
L’électroencéphalogramme (EEG)
EEG: mesure de l’activité électrique du cerveau
10
Description de l’EEG
[0,5-4Hz]
[4-8Hz]
[8-12Hz]
[12-26Hz]
2s d’EEG
[26-100Hz]
Sommeil profond
Méditation et somnolence
Hypovigilance, relaxation et yeux fermés
Concentration active
Fonctions motrices etcognitives
11
L’hypovigilance dans l’EEG
Augmentation de l’activité et Gillberg et al., 1996)
Baisse de l’activité (Makeig et al, 2000)
Principalement en zones pariétale (P) et centrale (C) (Bittner et al., 2001; Oken et al. 2006)
12
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale1. Caractérisation de l’hypovigilance par EEG
2. Système de détection
3. Données de validation
4. Résultats obtenus
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
13
Le système de détection But: analyser les variations de l’activité dans les
bandes de fréquence potentiellement intéressantes à partir d’un canal unique
‘‘Fatigué’’?
14
La comparaison de moyenne (MCT)
But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
La variable suit une loi normale
Egalité de moyennes éprouvée par un test bilatéral de seuil MCT
-u1-MCT/2<u<u1-MCT/2
2
22
1
21
21
n
s
n
s
xxu
ii
mimii
x1mi
s²1i
x2mi
s²2i
15
Le système de détection But: analyser les variations de l’activité dans les
bandes de fréquence potentiellement intéressantes à partir d’un canal unique
‘‘Fatigué’’?
16
Les artéfacts Artéfacts: perturbation électrique du signal d’origine
non cérébrale Origines: biologiques ou environnementales But: détection d’artéfacts de haute amplitude pour
évaluer la qualité du signal EEG
17
La comparaison de variances (VCT)
But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
La variable suit une loi de Fisher
Egalité de variances éprouvée par un test bilatéral de seuil art
Fart/2<F<F1-art/2
21
22
i
ii s
sF
s²1i s²2i
18
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale1. Caractérisation de l’hypovigilance par EEG
2. Système de détection
3. Données de validation
4. Résultats obtenus
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
19
La base de données
Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg
60 heures de conduite à partir de 20 conducteurs différents
2 sessions de conduite de 1h30:Sans privation de sommeil: le conducteur a
dormi une nuit complète Avec privation de sommeil: le conducteur a
dormi 4 heures uniquement
20
Contenu
Conduite sur simulateur
1 vidéo de contrôle
4 canaux EEG
1 canal EOG
21
Expertise Données expertisée toutes les 20s selon l’échelle OSS
Constitue une vérité de terrain Attention: pas d’échelle standard (contrairement au
sommeil)
Objective Sleepiness Score
Contenu EEGClignements et
mouvements d’yeux
0 Beta, pas d’alpha, pas de thêta Normal
1alpha et thêta dans pendant
moins de 5 secondes en cumulé
Normal
2alpha et thêta moins de 5s
oualpha et thêta entre 5 et 10s
Lentou
Normal
3alpha et thêta entre 5 et 10s
oualpha et thêta plus de 10s
Lentou
Normal
4 alpha et thêta entre plus de 10s Lent
Échelle OSS (Muzet et al., 2003)
Objective Sleepiness Score
Contenu EEGClignements et
mouvements d’yeuxÉchantillons
0 Beta, pas d’alpha, pas de thêta Normal 5512 (72,9%)
1alpha et thêta dans pendant
moins de 5 secondes en cumulé
Normal 949 (12,6%)
2alpha et thêta moins de 5s
oualpha et thêta entre 5 et 10s
Lentou
Normal663 (8,8%)
3alpha et thêta entre 5 et 10s
oualpha et thêta plus de 10s
Lentou
Normal407 (5,4%)
4 alpha et thêta entre plus de 10s Lent 26 (0,3%)
22
Évaluation des performancesBinarisation de la décision experte
Objective Sleepiness Score
Contenu EEG
0 Beta, pas d’alpha, pas de thêta
1alpha et thêta dans pendant
moins de 5 secondes en cumulé
2alpha et thêta moins de 5s
oualpha et thêta entre 5 et 10s
3alpha et thêta entre 5 et 10s
oualpha et thêta plus de 10s
4 alpha et thêta entre plus de 10s
t(s)
3
2
1
0
Éveillé
Fatigué
t(s)Éveillé
Fatigué
Binarisation
23
Évaluations des performances
Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »
Expert
Notresystème
20s 40s t(s)
20s 40s t(s)
60s
60s
24
Évaluation des performances
Présentation par courbe COR:TPrate: taux de bonnes détections
FPrate: taux de fausses alarmes
Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2
n01: nombre d’échantillons bien classés par d2 mais pas par d1
Equivalence si (²(1)=3,84 pour =0,05)
0110
)11001( 22
nn
nnMcNemar
)1(22 McNemar
25
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale1. Caractérisation de l’hypovigilance par EEG
2. Système de détection
3. Données de validation
4. Résultats obtenus
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
26
Choix du canal (résultats obtenus sur la bande )
Classifieur a
léatoire
MCT=1,5
MCT=5
Meilleurs résultats pour le canal P3 Résultats peu dégradés lorsque MCT varie
Indépendant du conducteur Pour la suite, on utilise uniquement le canal P3
27
Influence de la détection d’artéfacts (résultats obtenus sur la bande et le canal P3)
Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude
Ce type d’artéfact ne représente que 2% de la base de données Pour la suite, on prend en compte la présence d’artéfacts
28
Résultats pour les différentes bandes de fréquence
est le meilleur indicateur n’apporte pas d’informations pertinentes et (+)/ donnent des résultats corrects
Indices:
•Alpha
•Beta
•Theta
•Alpha|Theta
•(+)/
et sont lesmeilleurs indicateurs
29
Détection par fusion floue des informations et
MCT
MCT
Fuzzification (MCT)
(MCT) & EEG
DEEG=« fatigué » si EEG>0,5DEEG=« éveillé » sinon{
30
Résultats de la fusion
Résultats améliorés en fusionnant les informations et Confirmé par le test de McNemar (²McNemar=66,01>>²(1))
TPrate=84,6% et FPrate=17,9%
Indices:
•Alpha
•Beta
•Fusion
31
Comparaison à la littérature
Auteurs Résultats TechniqueNombre
de canauxNombre de conducteurs
Picot et al., 2009
82,5% MCT et fusion floue sur et 1 20
Ben Khalifa et al., 2004
76% Réseau de neurones 1 4
Lin et al., 2005
r=0,88 Régression linéaire 33 10
Rosipal et al.,2007
77% modèle de mixtures gaussiens 3 32
Pal et al., 2008
r=0,78Distance de Mahalanobis sur
et 1 13
32
Bilan
Détection par fusion des informations et
Fonctionne à partir d’un canal unique (P3)
Détecteur d’artéfact pour évaluer la qualité du signal
Indépendant du conducteur
Performances: TPrate=84,6% et FPrate=17,9%
Détection d’hypovigilance par analyse des signes visuels
34
Problématique
Clignements: indicateurs d’hypovigilance
Deux techniques:EOG: peu ergonomiqueVidéo: plus pratique
Dans quelle mesure la vidéo peut elle remplacer l’EOG?
Quelle caractérisation d’hypovigilance possible par analyse vidéo?
35
Difficultés
Détection des yeux, quel que soit leur état
Caractériser précisément les clignements
Obtention de données oculaires d’hypovigilance
Expertise de ces données
S’affranchir des différences interindividuelles
36
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
37
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
1. Caractérisation de clignements par analyse vidéo
2. Comparaison des caractérisations vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
38
Détection de clignements par analyse vidéo
But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil
(A. Benoit, 2006)
Testé sur la base BioID (1521 visages)
97% de bonnes détections
39
Détection des clignements
EOPL
(contoursstatiques)
EIPL
(contoursmobiles)
SIPL
Clignement validé!
40
Indicateurs de l’hypovigilance à partir d’un clignement
Plusieurs indicateurs peuvent être extraits des clignements EOG (mesure de l’activité électrique de l’œil) sert
traditionnellement à la caractérisation des clignements
EOPL(contoursstatiques)
EIPL(contoursmobiles)
TF TO
D
D50
A
P80
EO
EF
41
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
1. Caractérisation de clignements par analyse vidéo
2. Comparaison des caractérisations vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
42
Base de données de comparaison 14 participants (11 hommes, 3 femmes) Enregistrements de 1min EOG (250Hz) et vidéo Durée moyenne d’un clignement ~150ms: seulement 5 images à
30fps 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps
Echantillonnage 30fps 100fps 150fps 200fps
Clignements 634 767 634 773
43
Comparaison entre vidéo et EOG
Détection des clignements par analyse vidéo
Fréquence d’échantillonnage
Détectionscorrectes
Non-détections
Fausses alarmes
30fps96,4%
(611)
3,6%
(23)21
100fps96,2%
(738)
3,8%
(29)13
150fps96,5%
(612)
3,5%
(22)6
200fps98,1%
(738)
1,9%
(15)3
44
Comparaison entre vidéo et EOG
L’évolution des différents indicateurs est liée à l’hypovigilance
Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.
Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.
45
Coefficients de corrélation entre vidéo et EOG
Paramètre 30fps 100fps 150fps 200fps
Durée 0,84 0,91 0,91 0,96
D50 0,72 0,96 0,93 0,97
Fermeture 0,26 0,36 0,31 0,40
Ouverture 0,32 0,36 0,36 0,33
Amplitude 0,56 0,45 0,38 0,45
Fréquence 0,97 0,99 0,99 0,99
PCV 0,34 0,43 0,49 0,60
P80 0,78 0,90 0,91 0,93
VF 0,34 0,46 0,48 0,61
VO 0,27 0,47 0,49 0,60
TR 0,39 0,41 0,38 0,42
A/PCV 0,67 0,76 0,82 0,78
EF et VF 0,46 0,68 0,68 0,74
EO et VO 0,35 0,61 0,58 0,44
46
Bilan
Intérêt d’utiliser une caméra rapide (200fps)Variables communes à la vidéo et à l’EOG:
DuréeDurée à 50% FréquenceP80A/PCV
Variable spécifique à la vidéo:EF corrélé à la vitesse de fermeture
47
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo1. Analyse des différents variables
2. Système de détection
3. Résultats
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
48
Préambule
But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées
Pertinence de ces variables?Analyse réalisée sur les données EOG de la
base de données du CEPADifficulté d’obtenir une base de données vidéo
d’hypovigilance expertiséeBase de données du CEPA très richePrécautions quant aux variables utilisées: même
performances attendues si on travaille à partir de la vidéo
49
Méthode
EOG
t(s)
Fenêtre d’analyse (20s, 40s ou 60s)Variable
considérée
t(s)Éveillé
Fatigué
Seuil de détection fixeou par apprentissage
Décision
50
Évaluation des performances
Binarisation des décisions expertes
Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »
Objective Sleepiness Score
Clignements et mouvements d’yeux
0 Normal
1 Normal
2Lentou
Normal
3Lentou
Normal
4 Lent
« Fatigué »
« Éveillé »
51
Résultats
Meilleurs résultats avec un seuil fixe Meilleurs résultats avec une fenêtre d’analyse de 20s Variables les plus pertinentes: D50, P80, A/PCV et F
Résultats Seuil sF
D50TPrate=81,3%
FPrate=25,9%130ms
P80TPrate=83,2%
FPrate=21,3%0,75%
FTPrate=76,9%
FPrate=18,7%0,1Hz
A/PCVTPrate=78,7%
FPrate=18,7%17,25
EF
TPrate=69,7%
FPrate=31,0%190
52
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo1. Analyse des différentes variables
2. Système de détection
3. Résultats
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
53
Détection par fusion floue des variables pertinentes
D50P80
A/PCVF
Fuzzification(D50)(P80)(A/PCV)(F)
vidéo
Dvidéo=« fatigué » si vidéo>0,5Dvidéo=« éveillé » sinon{
54
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG
2. Détection d’hypovigilance par analyse vidéo1. Analyse des différents variables
2. Système de détection
3. Résultats
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle
55
Résultats
Résultats meilleurs avec la logique floue qu’avec les variables seules (²McNemar=327,81>>²(1)) TPrate=81,4% et FPrate=13,1%
Indices:
•Fusion
•A50
•P80
•F
•A/PCV
56
Comparaison à la littérature
Auteurs TPrate FPrate Technique Signal
Picot et al., 2009
81,4% 13,1%Fusion floue des paramètres D50,
P80, F et A/PCVEOG/Vidéo
Johns, 2007 75% 30% A/PCV uniquement Vidéo
Omi et al., 2008
84% 9%Régression multiple sur une
dizaine de paramètresEOG
Hu & Zheng, 2009
81% 17%SVM sur une dizaine de
paramètresEOG
Damousis et al., 2009
90% 30%Système flou fusionnant durée
fréquence et intervalle des clignements
Vidéo
57
Bilan
Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG
D50, P80, A/PCV et F sont les plus pertinents
Détection par fusion de ces variables pertinentes
Indépendant du conducteur
Performances: TPrate=81,4% et FPrate=13,1%
Détection d’hypovigilance par fusion des approches cérébrale et visuelle
59
Difficultés
Interaction entre EEG et vidéo
Synchronisation des approches développées
Obtention de données EEG et vidéo d’hypovigilance
Expertise de ces données
60
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle1. Système de fusion
2. Résultats
61
Objectif
Hypovigilance caractérisée par l’activité cérébrale et l’activité oculaire
Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection
62
Présentation générale
Objective Sleepiness Score
Contenu EEGClignements et
mouvements d’yeux
0 Beta, pas d’alpha, pas de thêta
Normal
1alpha et thêta dans pendant
moins de 5 secondes en cumulé
Normal
2alpha et thêta moins de 5s
oualpha et thêta entre 5 et 10s
Lentou
Normal
3alpha et thêta entre 5 et 10s
oualpha et thêta plus de 10s
Lentou
Normal
4 alpha et thêta entre plus de 10s
Lent
EEG Vidéo
Éveillé
Fatigué
Trèsfatigué
63
Méthode de fusion
DEEG
Dvidéo “très fatigué”
“fatigué”
“éveillé”
Dart
0
1
1
0
1
00 &
Dar
t=1
Fusion
DétectionEEG
Détectiond’artéfacts
Détectionvidéo S
ynch
roni
satio
n te
mpo
relleDEEG
Dart
Dvidéo
EEG
Vidéo
64
Plan
1. Détection d’hypovigilance par analyse de l’activité cérébrale
2. Détection d’hypovigilance par analyse des signes visuels
3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle1. Système de fusion
2. Résultats
65
Résultats
Eveillé FatiguéTrès
fatigué
Eveillé 82,1% 14,0% 3,7%
Fatigué 14,5% 72,6% 16,7%
Trèsfatigué
3,4% 13,4% 79,6%
Eveillé FatiguéTrès
fatigué
Eveillé 75,2% 11,0% 1,8%
Fatigué 14,9% 72,6% 16,8%
Trèsfatigué
9,9% 16,4% 81,4%
Notre méthode Fusion « aveugle »
Éch. 5512 949 1096 Meilleurs résultats avec notre méthode Confirmés par le test de McNemar
(²McNemar=302,47>>²(1)) 80,6% de bonnes classifications sur 3 niveaux
Expert
Not
re s
ystè
me
66
Comparaison à la détection vidéo seule
Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance
Forte diminution du taux de fausses alarmes Meilleurs résultats avec l’apport de l’information EEG
(²McNemar=428,62>>²(1))
Vidéo seuleTPrate=81,4%FPrate=13,1%
Vidéo + EEG:TPrate=79,6%FPrate=5,2%
67
Comparaison à la littérature
Auteurs Résultats Données TechniqueNiveaux
d’HVNombre de
conducteurs
Picot et al., 2009
80,6% EEG et vidéoFusion floue et combinaison de
décisions3 20
Khardi & Hernandez-Gress, 2000
93%Mécaniques et
vidéoRéseau de neurones 2 10
Ji et al., 2006 r=0,95Vidéo et
environnementRéseaux bayésiens % 8
Su & Zheng, 2007
TPrate=71%FPrate=42%
Vidéo et mécaniques
Théorie de l’évidence 2 44
Conclusions et perspectives
69
Difficultés du problème
But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo
Difficultés engendrées: Analyse et caractérisation des signaux EEG Caractérisation de l’hypovigilance à partir de la vidéo S’affranchir des différences interindividuelles Interaction entre EEG et vidéo Obtention de données d’hypovigilance Expertise de ces données
70
Solutions proposées
Approche EEG utilisant un seul canal
Approche vidéo par caméra rapide
Système de détection d’hypovigilance par fusion d’informations EEG et vidéo
Indépendant du conducteur
Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents
71
Perspectives
À court terme:Validation sur une base de données EEG et
vidéo rapide synchronisée
À plus long termeAméliorer la détection EEGExplorer les possibilités offertes par la vidéoAjout des informations contextuellesBoucler ce système avec une approche orientée
véhicule
Merci de votre attention!
Détection d’hypovigilance chez le conducteur par fusion d’informations
physiologiques et vidéo
Soutenance de thèse d’ Antoine Picot
Lundi 9 novembre 2009
74
Paramètres EOG pertinentsParamètre Importance
Durée, A50 1(Caffier, Sensation), 3(Galley)
Tps ouverture 1(Caffier), 2(Galley,Sensation)
Tps fermeture 1(Sensation), 3(Galley, Caffier)
Fréquence 2(Sensation, Galley), 3(Caffier)
Lid closure param 1(Galley), 2(Sensation),
Lid opening param 1(Galley), 2(Sensation)
Perclos 1(Galley)
Amplitude 3(Galley, Caffier, Sensation)
1:très important, 2: important, 3:peu important