De la détection de changement à l’analyse du mouvement

1Antoine MANZANERA – ENSTA/LEICours ETASM 2006

De la détection de changement à l’analyse du mouvement

Antoine MANZANERA – ENSTA/LEI

Applications en télésurveillance et navigation autonome

2Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Applications et enjeux (1)

Surveillance de zone Compression et Indexation

(University of Surrey)

3Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Applications et enjeux (2)

Mouvement fluide

Poursuite automatique

Navigation robotique

(Ecole des Mines / CMM)

4Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Quelle information extraire ?

Niveau conceptuel

Quantité d’information

structure

Modèle non rigide

nombre

positionvitesse

taille

formeModèle rigide

alarme

Carte binaire mobile/fixe

Champ de déplacement

Calculs bas niveau

paramètres de mise en

correspondance

5Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Détection – Estimation – Poursuite

DETECTION

• Certaine continuité temporelle

• Mouvement de la caméra nul ou très simple.

Objectif : identifier dans chaque image les pixels appartenant à des objets mobiles

Chapitre 1Chapitre 1

ESTIMATION

• Continuité temporelle

• Plutôt « traiter après »

Objectif : calculer le mouvement apparent (vitesse instantanée) de chaque pixel

Chapitre 2Chapitre 2

POURSUITE

• Discontinuité temporelle

• Plutôt « traiter avant »

Objectif : apparier certaines structures spatiales pour chaque couple d’images.

Chapitre 3Chapitre 3

6Antoine MANZANERA – ENSTA/LEICours ETASM 2006

MOUVEMENT Détection1

PLAN DU CHAPITRE

• Introduction du problème

• Observation & différenciation

• Régularisation spatiotemporelle

7Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Introduction du problème

BUT : Associer à chaque pixel de I une étiquette binaire [fixe,mobile]…0 1

…en fonction des changements temporels de I(x,y,t).

Quelles variations temporelles ?

Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) |

Idéalement :Y = 0 pas de mvt

Y > 0 mvt

Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |

8Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Contraintes et difficultés

! CONTRAINTES

(1) Camera fixe

(2) Eclairement constant

(1)’ Camera bougeant lentement

(2)’ Variation d’éclairement basse fréquence

! DIFFICULTES

(1) Bruits de capteur (acquisition + numérisation)

(2) Zones homogènes (luminance < )

0 seuil > 0

(1)’’ Camera mobile avec mouvement compensé (Cf Chap. 2)

(2)’’ Intensité lumineuse variable avec mise à l’échelle de l’histogrammeou même

9Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Détection : méthode générique

(1) Calcul du changement temporel

(2) Régularisation spatiotemporelle

(3) Sélection des objets

On calcule, pour chaque pixel, une ou plusieurs statistiques temporelles des niveaux de gris, ainsi que l’écart par rapport à ces statistiques.

On agrège spatialement les résultats de changement temporel afin d’obtenir des objets réguliers.

On sélectionne les régions obtenues en fonction de critères morphologiques ou cinématiques.

Yt

It

Êt

Et

10Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Changement par gradient temporel

Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) |Ici l’observation correspond à une estimation du gradient temporel, discrétisé par une différence finie.

1 ttt IIY

Si Yt > S, alors Êt = 1 sinon Êt = 0

Avantages :

• simplicité de calcul

• grande adaptation aux variations de conditions de la scène

Inconvénients :

• problème de l’ouverture

ItYt

11Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Changement par gradient temporel

ItYt

Problème de la détermination du seuil S

Êt (S=3) Êt (S=9)

12Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation de fond statique

Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |

1)1( ttt MIM

ttt IMY

Si Yt > S, alors Êt = 1 sinon Êt = 0

Ici l’observation correspond à un écart entre la valeur courante et la valeur de référence de la scène (le « fond » statique).

Le fond statique correspond à la valeur habituelle du fond, il est généralement calculé sous la forme d’une moyenne...

• Moyenne arithmétique sur les n dernières images :

Très coûteux car nécessite de conserver en permanence n images consécutives en mémoire...

• Moyenne récursive (filtre exponentiel) :

Nécessite seulement la moyenne et l’image courante...

est le paramètre d’oubli, (1/ a la dimension du temps)

13Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Moyenne récursive

Avantages :

• réduction drastique du problème de l’ouverture

Inconvénients :

• adaptation aux changements de conditions plus délicat

• Changement d’illumination (graduel, soudain,...)

• Mouvements parasites

• Mouvements de la caméra

• Changement de la nature du fond

Comportement de la moyenne récursive au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.

14Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Moyenne récursive

It

Yt

Mt

Yt

Mt

= 0.0625 = 0.125

...et pour un instant t fixé.

15Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Moyenne récursive

Pour des durées importantes, on retrouve le problème de l’ouverture, critique pour les mouvements radiaux :

Par ailleurs, la détermination du seuil demeure critique…

16Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation gaussienne

Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |

1)1( ttt MIM

1)1(2

tVYV tt

ttt IMY

Si Yt > N.√Vt, alors Êt = 1 sinon Êt = 0

En chaque pixel, le niveau de gris est modélisé comme un signal aléatoire gaussien, qu’on peut entièrement caractériser par sa moyenne Mt et sa variance Vt.

L’hypothèse gaussienne permet en outre d’adapter le seuil de binarisation à un nombre moyen de fausses alarmes.

Wren et al 1997

17Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation multi-gaussienne

)()(

1)1( i

ti

ttMIM

)(2)()(

1)1( ii

ti

ttVYV

tii IMY

tt )()(

: si )()( ii

ttVNY

1)(1

)( i

ti QQ

t

0 255niveau de gris

probabilité d’occurence

M(i)

P(i)

V(i)

)(1)(

1

)(

i

Q

i

t

Kj

j

tt

QP

SV

Pi

t

i

t )(

)(

Adapté aux fonds multimodaux (rivières, écrans, drapeaux,...)

Si

Pour chaque pixel, on calcule K modes i {0,..,K}, qui sont partitionnés en « fond » F ou « non fond » NF.

alors FiNFisinon

Pour tout i {0,..,K} :

Pour tout i {0,..,K} :

Stauffer et Grimson 1999

18Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation Sigma-Delta

Comportement de la moyenne au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.

Si Mt < It alors Mt = Mt + 1;

Si Mt > It alors Mt = Mt - 1;

Si Vt < K.t alors Vt = Vt + 1;

Si Vt > K.t alors Vt = Vt - 1;

Yt = | It – Mt |;

Si Yt > Vt alors Dt = 1;

sinon Dt = 0;

(1)

(2)

(3)

(4)

19Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation Sigma-Delta

It Mt Yt =|Mt – It|

Vt (N = 2,normalisée) Êt

20Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Estimation Sigma-Delta

• Jeu d’instruction utile extrêmement réduit : Comparaison – Incrément – Différence

• Moyenne converge vers la médiane temporelle : plus robuste.

• Extensible aux fonds complexes en adaptant les fréquence/phase des estimateurs .

Manzanera et Richefeu 2004

Système de détection à base de rétine artificielle baseé sur l’estimation

21Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Sigma-Delta : rebouclage

22Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Morphologie oublieuse

Comportement des opérateurs de morphologie oublieuse au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.

mt = It + (1-)MIN(mt-1,It)

Mt = It + (1-)MAX(Mt-1,It)

Dt = Mt - mt

23Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Morphologie oublieuse

It Mt mt

Yt = Mt – mt

Le gradient morphologique oublieux Yt correspond à l’estimation récursive de l’amplitude de variation du niveau de gris dans les 1/ dernières trames. Cet opérateur est particulièrement adapté aux mouvements de faible amplitude (petits objets, lents).

Richefeu et Manzanera 2004

24Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Régularisation spatiotemporelle

Objectif : Exploiter les corrélations spatiales et temporelles entre pixels voisins – Obtenir des résultats plus réguliers.

La régularisation spatiotemporelle utilise le résultat binaire de la détection temporelle Êt, ainsi que la valeur de « l’observation » Yt, pour calculer une étiquette régularisée Et.

FILTRAGE MORPHOLOGIQUE :

Souvent, la régularisation spatiotemporelle se réduit à l’application de filtres morphologiques binaires, qui calculent Et à partir de Êt, éventuellement de Êt-1, voire Êt+1.

• Filtres alternés séquentiels.

• Filtres majoritaires.

• Filtres connexes.

REGULARISATION MARKOVIENNE :

Basée sur un modèle probabiliste, calcule Et à partir de Yt, en utilisant un algorithme de relaxation initialisé par Êt.

25Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Régularisation markovienne

Régularisation de problème mal posé

Injection de connaissances a priori sur les données du problème

• Comment construire ce phénomène aléatoire ? → MODELISATION

• Comment obtenir des réalisations de ce phénomène → SIMULATION

• Comment obtenir la réalisation la plus probable ? → OPTIMISATION

3 questions :

MODELISATION PROBABILISTE

La solution est la réalisation la plus probable d’un certain phénomène aléatoire

26Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Propriétés du modèle

Un champ aléatoire X sur S à valeur dans V est défini par :

X : → VS

Notations :

Pour ω X : S → V réalisation d’un champ aléatoire.

Pour s S, Xs : s → V variable aléatoire au pixel s.

Dans notre contexte de détection :V = {0,1} ({fixe,mobile})

S = Z3 ou Z2×N (espace-temps discret)

Univers probabiliste

Ens. des valeurs (niveaux de gris)

Ens. des sites (pixels)

27Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Topologie et système de voisinage

La donnée d’une topologie sur S détermine les relations de dépendances entre les variables aléatoires Xs

Topologie sur S Système de voisinage V

V : S → P (S)

tq, qq soit (s,r) S2, s V (s)

s V(r) r V(s)

Ex:

x

y t 6-connexité

8-connexité spatiale

2-connexité temporelle

28Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Champs de Markov

X : → VS est un champ de Markov relativement au système de voisinage V ssi, pour tout s S,

P(Xs = xs / Xr = xr ; r s) = P(Xs = xs / Xr = xr ; r V (s))

La densité de probabilité de X est une mesure de Gibbs

P(X = x) = e-U(x) / Z

avec Z = e–U(y), et U(x) = Vc(x)

C est l’ensemble des cliques (sous-graphes complets) de V

Vc(x) est une fonction dite potentiel qui ne dépend que des valeurs {xs}sc

y VS c C

• On peut décrire un modèle de champ de Markov dans une topologie donnée en spécifiant les potentiels attachés à chaque clique.

• La donnée de la fonctionnelle d’énergie U permet de « prévoir » le comportement du champ aléatoire puisque la réalisation est d’autant plus probable que l’énergie est faible.

Théorème de Hammersley-CliffordJ. Besag 1974

29Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Modèle pour la détection de mouvement

s

s s

s

f

p

Y

Um(x) : énergie du modèle

Ua(y,x) : énergie d’attache aux données

),()()( yxUxUxU am

),()()(

rsVxUSs sr

xm

V

)( )( si ),( rxsxrsV srx )( )( si rxsxsr

avec

(Modèle de Potts)

Ss

a ssyyxU )( )(2

1),(2

0 )( si 0 )( sxs

1 )( si sxavec

30Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Sémantique du modèle

),()()( yxUxUxU am

Ss sr

srm xU)(

)(V

Ss

a ssyyxU )( )(2

1),(2

0 )( si 0 )( sxs

1 )( si sxavec

2

),(

)/(Z

exXyYP

yxUa

1

)(

)(Z

exXP

xUm

Avec: = moyenne de Y ; = variance de Y

Modélisation :

On suppose : et :

(caractère markovien de X) (modèle de bruit liant X et Y)

L’énergie du modèle exprime une hypothèse de régularité.

L’énergie d’adéquation assure un lien significatif entre le résultat de l’étiquetage et les données d’entrée.

)/(maxarg

)/().(maxarg)(minarg

yYxXP

xXyYPxXPxU

x

xx

Critère bayesien du Maximum A Posteriori

Alors :

P.Bouthémy P.Lalande

1993

31Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Simulation et chaînes de Markov

But : une fois le modèle défini, on souhaite générer des réalisations (échantillons) de ce modèle

Principe : Construire une suite de champs aléatoires (Xn) nN, telle que

Pour tout x VS, lim P(Xn = x) = (x)

avec (x) = e -U(x) / Z

n → +

Une suite (Xn)n est une chaîne de Markov (d’ordre 1) ssi :

P(Xn+1 = xn+1 / Xi = xi ; i n) = P(Xn+1 = xn+1 / Xn = xn)

Pour cela, on va construire une chaîne de Markov qui converge en loi vers :

32Antoine MANZANERA – ENSTA/LEICours ETASM 2006

SimulationExemple : les deux algorithmes suivants…

…produisent des chaînes de Markov qui converge en loi vers la mesure de Gibbs d’énergie U.

Algorithme de Metropolis

Soit X0 = x0 un état initial quelconque.

Pour n 0, faire :

1. Tirer un pixel s au hasard (Loi uniforme sur S).2. Tirer une étiquette e au hasard (Loi uniforme sur V).

On note :

3. Calculer la différence :

srrxrxx n si )( )(~ que tel ~ SV

esx )(~et )( )~( nxUxUU

Si U < 0, alors :

sinon :

xxn~ 1

xxn~ 1

nn xx 1 avec une probabilité e - U

avec une probabilité 1 - e - U

Echantillonneur de Gibbs

Soit X0 = x0 un état initial quelconque.

Pour n 0, faire :

1. Tirer un pixel s au hasard (Loi uniforme sur S).2. Calculer les probabilités conditionnelles :

3. Effectuer un tirage de Xn+1 en fonction de cette loi.

srxrXxsXP rnsn ; )( / )(1

)( ; )( / )(1 srxrXxsXP rnsn V

N. Metropolis 1953

S. Geman & D. Geman 1984

J.L.Marroquín 1985

33Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Optimisation

But : Nous avons vu comment produire des échantillons de la loi qu’on a modélisée. On souhaite à présent obtenir la réalisation la plus probable.

1er cas : RELAXATION DETERMINISTE

Supposons qu’on soit capable d’obtenir un état initial X0 = x0 qui constitue une instance crédible (= une réalisation pas trop improbable) du modèle de Gibbs qu’on a construit.

Dans ce cas :

MODELISATION SIMULATION OPTIMISATION

Ex: ICM (Iterated Conditional Mode), avec x0 = seuillage de y

34Antoine MANZANERA – ENSTA/LEICours ETASM 2006

ICM

Yt-1 Yt Yt+1

ICM

Algorithme de détection

Soit X0 = x0.

Relaxation {

Balayer l’ens.des pixels s S,

et pour tout s : {

pour chaque valeur e V,

on note xe tel que xe(r) = x(r) si r s et xe(s) = e.

on prend : x(s) = arg min U(xe).

}

}

e V

ALGORITHME ICM

Êt-1 Êt Êt+1

Et-1 Et

ICM ICM

Et+1

35Antoine MANZANERA – ENSTA/LEICours ETASM 2006

ICM : résultats

I T X

Meudon3.avi MeuObs.avi MeuLab.avi

• Algorithme complètement déterministe, s’apparente à une descente de gradient.

• Converge vers le premier minimum local de U rencontré.

• Correct si l’initialisation n’est pas trop loin du minimum global.

36Antoine MANZANERA – ENSTA/LEICours ETASM 2006

ICM et optimisation

ICM

U

L’algorithme ICM correspond à une descente de gradient local :

Un algorithme de descente de gradient appliqué à une fonction U converge vers le premier minimum global rencontré en aval de l’initialisation. Ce minimum n’est le minimum global de la fonction U que si U est convexe :

37Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Recuit simulé

2d cas : RELAXATION STOCHASTIQUE

On passe par une étape de simulation, qui contient du tirage aléatoire.

Problème : on a obtenu une convergence en loi, mais comment faire converger les réalisations ?

Mesure de Gibbs d’énergie U et de température T :

exp(-U(x)/T)

ZT

P(X=x) =

avec ZT = exp(-U(y)/T)y VS

38Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Recuit simulé

T 0 T 8

PROPRIETE :

1 – Lorsque T → +, la mesure de Gibbs d’énergie U et de température T tend vers la probabilité uniforme sur VS.

1 – Lorsque T → 0, la mesure de Gibbs d’énergie U et de température T tend vers la probabilité uniforme sur l’ensemble {1,…,n} des minima de U.

(1) T +∞ :TZ

e TxU )(

1

card VS

(1) T 0 : D

N

e

e

Z

e

S

TiUyU

TiUxU

TxU

Vy

T

)()(

)()()(

1 donc 0)( : ,, si

0 donc 0)( : ,, si

1

1

NUxUx

NUxUx

in

in

nD(1)

(2)

quand T 0 :

(où i est un minimum de U )

39Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Recuit simulé : résultats

I T X

Karlsruhe2.avi KarlObs.avi KarlLab.avi

Application : algorithme de Metropolis en faisant décroître T vers 0.

Inconvénient majeur : coût de calcul énorme.

Mis en œuvre sur architectures parallèles…

40Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Recuit simulé et optimisation

ICM

U

Recuit simulé

U

Par rapport à la descente de gradient, le principe de l’algorithme de recuit simulé est de pouvoir sortir de « puits » de minima locaux en permettant aléatoirement une augmentation de l’énergie, d’autant plus grande que la température est élevée :

41Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Convergences

ICM Recuit simulé

42Antoine MANZANERA – ENSTA/LEICours ETASM 2006

GNC et espaces d’échelle

3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity)

Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {UZ}Z

Par exemple, une hiérarchie de modèle de Gibbs peut être induite par une multi-résolution spatiotemporelle de la séquence d’images :

43Antoine MANZANERA – ENSTA/LEICours ETASM 2006

GNC et optimisation

3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity)

Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {UZ}Z

Enveloppe convexe

Û

ICM

U

GNC

U2

U1

U0

A.Blake & A.Zisserman 1987

44Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Conclusion Chapitre 1

CALCUL DU CHANGEMENT TEMPOREL Gradient temporel

Fond statique

Moyenne récursive

Mélange de gaussiennes

Estimation

Morphologie oublieuse

REGULARISATION SPATIOTEMPORELLE Filtrage morphologique

Relaxation markovienne

ICM

Recuit simulé

Modèles de Gibbs hiérarchiques

45Antoine MANZANERA – ENSTA/LEICours ETASM 2006

Bibliographie Chapitre 1

• C. Wren et al 1997 « Pfinder: real-time tracking of the human body » IEEE Trans on Pattern Analysis and Machine Intelligence 19-7 pp 780-785

• C. Stauffer & W.E.L. Grimson 2000 « Learning patterns of activity using real-time tracking » IEEE Trans on Pattern Analysis and Machine Intelligence 22-8 pp 747-757

• A. Manzanera & J. Richefeu 2006 « A new motion detection algorithm based on estimation » Pattern Recognition letters à paraître

• P.Bouthémy & P.Lalande 1993 « Recovering of moving object in an image sequence using local spatiotemporal contextual information » Optical engineering 32-6 1205-1212

• S. Geman & D. Geman 1984 « Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images » IEEE Transactions on Pattern Analysis and Machine Intelligence 6-6 721-741

• J.L.Marroquín 1985 « Probabilistic solution of inverse problems » PhD Thesis, MIT

• A.Blake & A.Zisserman 1987 « Visual reconstruction » MIT Press