P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 stimation de mouvement et segmentation Patrice BRAULT IEF, Institut

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1

stimation de mouvement et segmentation

Patrice BRAULT

IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622,

Département ACCIS,

Paris-Sud University, 91405 Orsay, FRANCE.

[email protected]

http://braultp.free.fr

Partie I : stimation de mouvement par ondelettes spatio-temporelles adaptées

Partie II : egmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes

GPi


• Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles.1. Etat de l'art : Compression vidéo et EM.

2. Création d’ondelettes adaptées au mouvement et E.M. fondée sur des trajectoires.

3. Comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

4. Conclusion.

• Partie II : Segmentation d’image et de séquence • Présentation du problème de segmentation

• Classification bayésienne dans le domaine des pixels. Modèle de Potts-Markov

• Segmentation incrémentale d’une séquence vidéo

• Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2.

• Conclusion générale

Plan: Partie I


Estimation de mouvement (EM). 1/2

• Correspondance de blocs (BM, Block-Matching)

Edberg

Compression hybride orientée objet MPEG4• codage Spatial : a) DCT comme MPEG2.b) Segmentation object et codage échelonnable (mouvement ou "sprite").

• Temporel : a) BM comme MPEG2. b) EM de n à n+1 (n'utilise que deux trames).

• Echelonnabilité de codage spatial, temporel et de la complexité.


L’estimation de mouvement (EM). 2/2

• Approche classique

1. Codage spatial DCT (MPEG) ou Hadamard (H264)2. Codage temporel (EM estimation de mouvement) par correspondance de blocs (BM, block-matching) et

estimation par simples vecteurs de mouvement entre deux trames.

• Approches actuelles par transformées en ondelettes (TO ou WT)

1. Filtrage "post-compensation du mvt" avec des ondelettes (Haar) [Guillemot, TEMICS] 2. Compression 2D+T avec compensation mouvement et lifting [Woods]3. Calcul rapide de flot optique par projection et résolution des équation du flot sur une base orthogonale [Bernard,

Mallat]

• Notre approche par CWT (continuous WT) 2D+T adaptée mouvement : "MTSTWT , Motion-tuned spatio-temporal wavelet transform"

1. Quantification des paramètres de mouvement par ondelettes adaptées à des transformations étendues.2. Schéma d' EM et prédiction fondé sur l'identification des trajectoires d' objets, calculées à partir des paramètres

de mouvement et d’un modèle de trajectoire (par ex. polynome d’ordre 5 ...), sur plusieurs trames.


Détection de vitesse dans le domaine spectral

k_t

k_x

V=1

V=3

V=10

k_t

k_x or y

Détection dans Fourier : 3 pentes pour 3 vitesses différentes

k_t

k_y

3 vitesses horizontales : 1, 3, 10 pix/fr.

y

x

2 vitesses verticales : 1, 3 pix/fr.


Analyse du mouvement par ondelettes : propriétés

Intérêt de construire des ondelettes adaptées à diverses transformations.

• Propriété 1 : La transformation A-1 subie par un signal 2D peut être transférée à l’ondelette.

• Propriété 2 : Le spectre d’un objet en mouvement est décalé dans la direction du vecteur d’onde temporel. La valeur du décalage correspond à la vitesse v0 de l’objet en mouvement.

objet statique :

objet à vitesse constante :


Groupe de transformations

Les opérateurs suivants s’appliquent à l’ondelette [M. Duval-Destin, A. Grossman, R. Murenzi 93] , [Leduc,Mujica, Murenzi, Smith 00], [J.P. Antoine, R. Murenzi, P. Vandergheynst, S.T.Ali 04].

• Translation spatio-temporelle

• Changement d’échelle spatio-temporelle

• Rotation spatiale

• Adaptation à la vitesse

Représentations spectralessur enveloppe de Morlet

rotation

Vitesse

Chgt. d’échelle

kt =

kx

ky

C=4

C=1/8

C=1

C=1

C=1

C=4

C=1/8

C=1


Transformations appliquées à l’ondelette de Morlet

• Ondelette de Morlet 2D+T dans le domaine spatio-temporel (direct).

• Ondelette spectrale adaptée aux paramètres {g}

[Kronland-Martinet 88]

•


Sélectivité, séparabilité et transformée spectrale finale

• Paramètre de sélectivité : • On cherche à renforcer l'anisotropie de l' ondelette de Morlet, , donc sa sélectivité dans une direction,.

• Séparabilité en trois ondelettes spectrales

• Relation finale de la transformée spatio-temporelle adaptée au mouvement, dans le domaine de Fourier :


Séquence d’origine

Algorithme spectral, séparable, de la MTSTWT

IFFT 3D globale

Convolution séparable dans Fourier :

FFT 3D globale

Résultat analysé dans l’espace direct

Définition d’une ondelette 2D+T adaptée (Morlet ici) séparable

Choix des paramètres d’analyse

(famille d’ondelettes)

3 ondelettes• 2 spatiales • 1 temporelle


MTSTWT sur la séquence tennis

Séquence : 360 240 30 frames, 8 bits.

MTSTWT spectrale adaptée à la vitesse.

Affichage =6ms/trame Résultat : détection des différentes vitesse (balle, bord de table en zoom arrière) 10ms/trame

Détection de mvtSegmentation de mvt


Résultats et comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

1) Complexité algorithmique de la MTSTWT

O( N3LogN ) avec N= m n k, la taille de la séquence . ajouter une IFFT3D par paramètre de vitesse si l’analyse est réalisée dans le domaine direct. Effectuer la FFT3D de la séquence avant analyse spectrale par la MTSTWT.

2) Vitesse de calcul

MTSTWT (spectrale) avec 3 ondelettes adaptées à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc 3602408 (séquence Tennis )

TM= 1200ms (sur un Xeon bi-processeur à 2.4gHz). En ajoutant les 3 FFT3D inverses (380ms) pour chaque vitesse, on obtient :

TMtot =2400ms, à la plus haute résolution.

Calcul du flot optique [C. Bernard] entre deux trames de la même séquence et pour 4 résolutions différentes :TF = 10 secondes (sur le même processeur Xeon).

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 10 sep. 04 13

Schéma d'une EM basée sur l'identification de trajectoire

k

Uncompressed Image sequence (space-time domain)size = m × n

Energy maximization and parameters extraction

Motion estimation from the computed trajectory [Incoming

publication]

Fast object trajectoryIdentification[Fliess et al.]

A priori trajectory model (Spline, Polynomial)

Compressed Image sequence (space-time domain)

[Brault P. , IEEE-ISSPIT03]

MTSTWT[Duval-Destin,

Murenzi, Antoine]

Object segmentation :Motion or static image based segmentation

Object kinematic and affine parameters.


Conclusion for MTSTWT and object identification in compression and scene analysis

Contribution personnelle :

• Utilisation d'une transformée en ondelettes redondantes 2D+T utilisant un groupe de transformations étendu pour la quantification et l'estimation du mouvement dans une séquence vidéo [1,2].

• EM objet fondée sur l'identification d'une trajectoire [3].

Perspectives: améliorations de l'algorithme de la MTSTWT [4]

• Ondelettes adaptées à la détection d'objets (contours) et moins oscillantes que Morlet (Splines, dérivées de gaussiennes )

• Calcul de la transformée dans l'espace direct (code testé) ou analyse dans l'espace de Fourier afin d'éviter les transformations du domaine direct vers spectral et réciproquement (FFT IFFT)

• Réduction de la taille du noyau de convolution (longueur du filtre).

• Utilisation d'un algorithme de transformation continue ("Algorithme à trous") [Tchamitchian et al.]

Publications :

1. - [Brault P.], WSEAS Transactions on Mathematics, 2003.

2. - [Brault P. and Vasiliu M.], WSEAS Transactions on Communications, 2003.

3. - [Brault P.], IEEE- ISSPIT, Darmstadt, dec. 2003.

4. - [Brault P.], WSEAS Transactions on Electronics, 2004.

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 15

• Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles.

1. Etat de l'art : Compression vidéo et EM.

2. Création d’ondelettes adaptées au mouvement et E.M. fondée sur des trajectoires.

3. Comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

4. Conclusion.

• Partie II : Segmentation d’image et de séquence

1. Modèle de markov caché et segmentation bayésienne dans le domaine des pixels

2. Segmentation incrémentale d’une séquence vidéo

3. Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2.

• Conclusion générale

Plan: Partie II


Approche bayésienne de la segmentation(BPMS Bayesian Potts-Markov segmentation)

= +

• première hypothèse

• seconde hypothèse

• modélisation markovienne

et voisinage d’ordre 1

• champ de Potts-Markov


A posteriori, estimation et approximation par MCMC

• Paramètres des lois a priori (segmentation non-supervisée)

• Hyperparamètres : loi conjuguées [Snoussi,Djafari02]

• Distribution a posteriori (Bayes)

Solution par approximation : méthode de type Markov Chain Monte-Carlo (MCMC) :

Application de la loi faible des grands nombres; nécessité d'un échantillonneur pseudo-aléatoire.

Hyper-hyperparamètres

• On recherche une solution au sens du MAP : plusieurs méthodes :• Optimisation : solution explicite (gaussienne) ou gradient (loi unimodale) ou Recuit (loi multimodale)• Intégration de E(g) : Approximation de Laplace (cas unimodal) ou méthodes MC ou MCMC

Evidence : E(g)


Echantillonnage, estimation MAP et MCMC

• Génération de N échantillons

• Estimateur de la loi, et des paramètres, calculé après un "temps de chauffe" de L échantillons :

Moyenne a posteriori (PM)

Maximum a posteriori (MAP) ou mode.

• Échantillonneur de Gibbs.

n itérations pour chaque site r(i,j).

• Mise en « parallèle » par réduction à deux sous-ensembles


Segmentation bayésienne de séquences et E.M.

1) Séquence originale 320240 6 2) Segmentation avec K=4. iter(1)=20, iter(2:6)=6

3) Itérations entre 2 trames 1 et 2 : convergence atteinte à la 4ème itération

tr2

tr1tr1 tr2tr2

tr6 tr6

tr1

5) Calcul du déplacement sur le centroïde de l’objet, caractérisée par sa « masse » (nbre de

pixels de même classe).

4) Deux trames successives (1 et 2)

On sélectionne la classe correspondant à la balle

• Segmentation incrémentale (utilisant la corrélation entre trames) par la méthode BPMS (domaine direct) :• Segmentation de la trame (n) basée sur la segmentation de (n-1)

• Segmentation de la trame 1 avec un gd nombre N d'itérations. Puis N est réduit poru les suivantes.

• Calcul du vecteur mouvement pour une région ou un objet (masse en pixels ~ cte )


Propriétés statistiques des coefficients d’ondelettes

Histo. de l’image riginale et des coeffs. d’échelle aJ

Histo. des coeffs d’ondelettes dj : 2 gaussiennes (K=2 classes)

Log/log

• Décomposition multirésolution• Classification en 2 classes : K=2, des coefficients d’ondelette.

OWT 2 échellesImage originale

• Transformée orthogonale (OWT)


Modélisation dans le domaine des ondelettes

• Nouvelle expression du champ de Potts_Markov (PMRF) prenant en compte les orientations privilégiées des ss-bandes d’ondelettes :

• Etapes de l’algorithme :

• La segmentation est effectuée d’abord sur la ss-bande d’approximation a J à l’échelle la plus grande 2J.

• La segmentation de la ss-bande d’ondelettes dJ est initialisée par les discontinuités de la ss-bande aJ.

• Par application de la propriété énoncée, les ss-bandes d’ondelettes sont segementées en K=2 classes.

• Les segmentations des ss-bandes d H,D1,D2,V (j-1) sont initialisées par les segmentation à l’échelle j précédente.


Algorithme de segmentation dans le domaine ondelettes

j=J j=J-1 j=0


Exemple de segmentation WBPMS

Segmentation aJ

a) Mosaïque 1024x1024, 8bits

Segmentation de toutes les sous-bandes aJ /dj

• 1) Image test synthétique : mosaïque texmos512 +bruit

• 2) Exemple : Segmentation de la mosaïque de test sur J= 2 niveaux

• 3) Performances de la segmentation WBPMS

c) Histogramme de la mosaïque bruitée

Filtrage et segmentation finale

Décomposition sur J=2 niveaux puis :

Histogramme après reconstruction

P.Brault Estimation de mouvement et segmentation IEF 29 nov. 2005 24

Conclusion et perspectives

• I) Estimation de mouvement par ondelettes spatio-temporelles• Quantification du mouvement par ondelettes continues (CWT) et groupe de transformations étendu.

• Schéma d' estimation de trajectoires d'objets visant à une compression « contextuelle » de la scène donc plus efficace.

• Perspectives : EM objet, multirésolution et robuste, éventuellement associée à une segmentation bayésienne ou autre (Partie II).

• II) Segmentation et EM par modèle de Potts-Markov dans les domaines direct et ondelettes.• Accélération de la segmentation de séquences par segementation incrémentale

EM de régions, ou objets, basé sur le déplacement du centre de masse.

• Accélération de la segmentation image par projection dans le domaine des ondelettes orthogonales (OWT) .

• Perspectives : EM post-segmentation fondée sur l'analyse du centre de masse et aussi la trajectographie.

Publications partie II:

1. - [Brault and Djafari.], WSEAS Transactions on Mathematics, 2005.

2. - [Brault and Djafari], MaxEnt05-AIP, Darmstadt, 2005.

3. - [Brault and Djafari], Colloque Bouyssy (sans actes), 2005.

4. - [Brault and Djafari], Journal of Electronic Imaging, 2005.

Documents

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 stimation de mouvement et segmentation Patrice BRAULT IEF, Institut