XML-based customization along the scalability axes of H.264/AVC scalable video coding

7/27/2019 XML-based customization along the scalability axes of H.264/AVC scalable video coding

1/4

XML-Based C u s t o m i z a t i o n A l o n g t h e S c a l a b i l i t yA x e s o f H . 2 6 4 / A V C S c a l a b l e V i d e o C o d i n gD a v y De S c h r i j v e r * , W e s l e y De N e v e * , K o e n De W o l f * , S t i j n N o t e b a e r t * , a n d R i k V a n d e W a l l e tD e p a r t m e n t o f E l e c t r o n i c s a n d I n f o r m a t i o n S y s t e m s - M u l t i m e d i a L a b* G h e n t U n i v e r s i t y - IBBTt G h e n t U n i v e r s i t y - I B B T - IMECS i n t - P i e t e r s n i e u w s t r a a t 4 1 , B - 9 0 0 0 G h e n t , B e l g i u mE m a i l : d a v y . d e s c h r i j v e r @ u g e n t . b e

A b s t r a c t - T h e h e t e r o g e n e i t y i n t h e c u r r e n t a n d f u t u r e m u l t i - w i l l b e p u t o n v i d e o s e q u e n c e s a s m u l t i m e d i a r e s o u r c e s .m e d i a e n v i r o n m e n t r e q u i r e s a n e l e g a n t a d a p t a t i o n f r a m e w o r k f o r T o o b t a i n f u l l y e m b e d d e d s c a l a b l e b i t s t r e a m s , t h e J o i n t S c a l -t h e p r o d u c t i o n a n d c o n s u m p t i o n o f d i f f e r e n t k i n d s o f m u l t i m e d i a a b l e V i d e o M o d e l (JSVM) s p e c i f i c a t i o n i s u s e d . J S V M i sc o n t e n t . S u c h a n a r c h i t e c t u r e i s p r e f e r a b l y b a s e d o n t h e u s a g e o fs c a l a b l e b i t s t r e a m s a n d a f o r m a t - a g n o s t i c c o n t e n t a d a p t a t i o n e n - b a s e d o n t h e s u c c e s s f u l H . 2 6 4 / A VC s t a n d a r d a n d i t d e s c r i b e sg i n e . T o o b t a i n f u l l y e m b e d d e d s c a l a b l e b i t s t r e a m s , t h e J o i n t S c a l - a n e x t e n s i o n mechanism s u c h t h a t s c a l a b l e b i t s t r e a m s c a n b ea b l e V i d e o M o d e l ( J S V M ) h a s b e e n u s e d i n t h i s p a p e r . H e r e b y , o b t a i n e d . T h i s i s i n c o n t r a s t w i t h t h e o r i g i n a l H . 2 6 4 / A V C s p e c -J S V M d e f i n e s a s c a l a b l e e x t e n s i o n o n t o p o f t h e H . 2 6 4 / A V C i f i c a t i o n t h a t i s n o t d e s i g n e d t o p r o d u c e s c a l a b l e b i t s t r e a m s . Ons p e c i f i c a t i o n . T h i s e x t e n s i o n w i l l make i t p o s s i b l e t o c r e a t e t h e o t h e r h a n d , t h e MPEG-21 B i t s t r e a m S y n t a x D e s c r i p t i o nb i t s t r e a m s t h a t a r e s c a l a b l e a l o n g t h e t e m p o r a l , s p a t i a l , a n d S NR La x i s . On t h e o t h e r h a n d , b i t s t r e a m s t r u c t u r e d e s c r i p t i o n s c a n L a n g u a g e (BSDL) i s u s e d t o d e s c r i b e t h e s t r u c t u r e o f ab e u s e d t o r e a l i z e a n e l e g a n t a n d f o r m a t - a g n o s t i c a d a p t a t i o n b i t s t r e a m i n XML s u c h t h a t t h e a d a p t a t i o n s c a n b e e x p r e s s e de n g i n e . S u c h d e s c r i p t i o n s c a n b e c r e a t e d b y m a k i n g u s e o f i n t h e XML d o m a i n i n s t e a d o f i n t h e l o w - l e v e l c o m p r e s s e dt h e MPEG-21 B i t s t r e a m S y n t a x D e s c r i p t i o n L a n g u a g e ( B S D L ) d o m a i n . T h i s p a p e r d e s c r i b e s h ow XML d e s c r i p t i o n s c a n b es t a n d a r d . T h e l a t t e r a l l o w s t o d es c r i b e t h e h i g h - l e v e l s t r u c t u r e g e n e r a t e d f o r J S V M e n c o d e d b i t s t r e a m s a n d h ow t h e e m b e d -o f s c a l a b l e b i t s t r e a m s i n X M L . T h i s p a p e r e x p l a i n s h ow f u l l y . .s c a l a b l e b i t s t r e a m s c a n b e c u s t o m i z e d b y t r a n s f o r m i n g BSDL- d e d s c a l a b i l i t y c a n b e e x p l o i t e d i n t h i s h i g h - l e v e l d o m a i n .b a s e d b i t s t r e a m s t r u c t u r e d e s c r i p t i o n s . From o u r p e r f o r m a n c e T h e o u t l i n e o f t h e p a p e r i s a s f o l l o w s . I n S e c t i o n I I , t h ea n a l y s i s , o n e c a n c o n c l u d e t h a t t h e t r a n s f o r m a t i o n o f t h e XML g l o b a l s t r u c t u r e o f J S V M w i l l b e d e s c r i b e d a s w e l l a s h owd e s c r i p t i o n , a s w e l l a s t h e g e n e r a t i o n o f t h e a d a p t e d b i t s t r e a m , t h e d i f f e r e n t e m b e d d e d s c a l a b i l i t y a x e s c a n b e f o u n d i n t h ecan b e d o n e s e v e r a l t i m e s f a s t e r t h a n r e a l t i m e . g e n e r a t e d b i t s t r e a m s . S e c t i o n I I I d i s c u s s e s t h e c o n s t r u c t i o n o f

a B S S c h e m a f o r a J S V M e n c o d e d b i t s t r e a m . T h e i m p l e m e n t a -I . INTRODUCTION t i o n o f t h e d i f f e r e n t s t y l e s h e e t s t o o b t a i n d e s c r i p t i o n s o f p a r t i a lN o w a d a y s , o u r p e r v a s i v e m u l t i m e d i a e c o s y s t e m a l l o w s t h a t s t r e a m s w i t h a d e c r e a s i n g q u a l i t y a l o n g o n e o r more s c a l a b i l i t ym u l t i m e d i a c o n t e n t c a n b e a c c e s s e d b y d i f f e r e n t u s e r s f r o m a x e s i s d e s c r i b e d i n S e c t i o n I V . A p e r f o r m a n c e a n a l y s i s o f

a v a r i o u s c o l l e c t i o n o f t e r m i n a l s a n d n e t w o r k s . F o r i n s t a n c e , t h e f o r m a t - a g n o s t i c f r a m e w o r k u s e d i s p r o v i d e d i n S e c t i o n V .t h a n k s t o t h e g r o w i n g p r o c e s s i n g p o w e r , P e r s o n a l D i g i t a l A s - F i n a l l y , a c o n c l u s i o n i s g i v e n i n S e c t i o n V I .s i s t a n t s ( P D A s ) a n d c e l l u l a r p h o n e s a r e a l r e a d y a b l e t o d e c o d eh i g h q u a l i t y v i d e o s e q u e n c e s . I n s u c h a d i v e r s e e n v i r o n m e n t , I I . J O I N T SCALABLE VIDEO M O D E Li t i s n e c e s s a r y t o c o n t r o l t h e h u g e m i s c e l l a n y o f c o n t e n t a n d T h e J o i n t V i d e o Team ( J V T ) h a s s t a r t e d t h e s t a n d a r d i z a t i o nr e s o u r c e c o n s t r a i n t s s u c h a s t e r m i n a l c a p a b i l i t i e s , b a n d w i d t h , o f a n ew s c a l a b l e v i d e o s p e c i f i c a t i o n i n 2 0 0 4 [ 1 ] . S c a l a b l eCPU p o w e r , e t c e t e r a . T h e r e f o r e , t w o i m p o r t a n t t e c h n o l o g i e s v i d e o c o d i n g s c h e m e s a r e a b l e t o e n c o d e t h e i n p u t s e q u e n c ea r e i n d i s p e n s a b l e t o o b t a i n s u c h a m u l t i m e d i a e n v i r o n m e n t , o n c e a t t h e h i g h e s t r e s o l u t i o n , f r a m e r a t e , a n d v i s u a l q u a l i t y ,i n p a r t i c u l a r s c a l a b l e b i t s t r e a m s a n d a s t a n d a r d i z e d f o r m a t - a f t e r w h i c h i t i s p o s s i b l e t o e x t r a c t p a r t i a l s t r e a m s c o n t a i n i n ga g n o s t i c c o n t e n t a d a p t a t i o n f r a m e w o r k . T h e s e t w o t e c h n o l o - a l o w e r q u a l i t y . T h e b i t s t r e a m e x t r a c t o r h a s t o g e n e r a t e t h eg i e s b e l o n g t o d i f f e r e n t r e s e a r c h t o p i c s : s c a l a b l e b i t s t r e a m s p a r t i a l s t r e a m s i n a n e f f i c i e n t w a y , w h i c h m e a n s t h a t n oa r e a p a r t o f m e d i a c o d i n g t e c h n i q u e s w h i l e t h e f u n c t i o n i n g d e c o d e - e n c o d e s t e p s o f t h e c h r o m a a n d l u m a d a t a o f t h eo f a n a d a p t a t i o n f r a m e w o r k r a t h e r b e l o n g s t o t h e m e t a d a t a o r i g i n a l b i t s t r e a m a r e n e e d e d . E v e r y s c a l a b i l i t y a x i s h a s t o b ec o m m u n i t y . T h i s p a p e r d e s c r i b e s h ow t h e s e t w o d i f f e r e n t i n d e p e n d e n t l y a c c e s s i b l e . T h e t h r e e s c a l a b i l i t y a x e s a r e t e m -w o r l d s c a n b e b r o u g h t t o g e t h e r i n o r d e r t o s h i f t t h e f o c u s o f t h e p o r a l , s p a t i a l , a n d S NR ( S i g n a l - t o - N o i s e R a t i o ) . A r e d u c t i o nc o n t e n t c u s t o m i z a t i o n p r o c e s s t o t h e h i g h - l e v e l XML d o m a i n , o f t h e q u a l i t y a l o n g t h e t e m p o r a l a x i s r e s u l t s i n a d e c r e a s i n gh e r e b y t a k i n g i n t o a c c o u n t t h e d i f f e r e n t u s a g e e n v i r o n m e n t f r a m e r a t e ; a l o n g t h e s p a t i a l a x i s i n a s m a l l e r s p a t i a l r e s o l u t i o n ;p a r a m e t e r s ( e . g . , t h e CP U p o w e r o f a t e r m i n a l ) . B e c a u s e o f t h e a n d a l o n g t h e S NR a x i s i n a l o w e r v i s u a l q u a l i t y .f a c t t h a t m o t i o n p i c t u r e s a r e p l a y i n g a n i n c r e a s i n g l y i m p o r t a n t T h e n e w s t a n d a r d u n d e r d e v el o p m e n t , i n p a r t i c u l a r J S V M, i sr o l e i n o u r m u l t i m e d i a e n v i r o n m e n t s , t h e f o c u s o f t h i s p a p e r a n e xt en s i o n o f t h e s i n g l e - l a y e r e d H . 2 6 4 / M \ ' P E G - 4 A d v a n c e d

0 - 7 8 0 3 - 9 3 9 0 - 2 / 0 6 / $ 2 0 . 0 0 2 0 0 6 I E E E 4 6 5 ISCAS 2 0 0 6


2/4

V i d e o C o d i n g s c h e m e ( H . 2 6 4 / A V C ) . T h i s r e s u l t s i n t h e r e - e n t r o p y e n c o d i n g u s e d , t h e p r e s e n c e o f a d e b l o c k i n g f i l t e r , e t c .q u i r e m e n t t h a t t h e b a s e l a y e r o f t h e s c a l a b l e b i t s t r e a m s h o u l d B e c a u s e o f t h e f a c t t h a t e v e r y P P S m u s t r e f e r t o a n S P S , t h e r eb e H . 2 6 4 / A V C c o m p l i a n t [ 2 ] . T h e s t r u c t u r e o f a p o s s i b l e a r e a t l e a s t a s m an y P P S s a s S P S s a n d m o s t l y t h e r e a r e m o r ee n c o d e r , p r o v i d i n g t h r e e s p a t i a l l e v e l s , i s g i v e n i n F i g . 1 . I n P P S s t h a n S P S s . F i n a l l y , t h e N A L U s ( N e t w o r k A b s t r a c t i o nL a y e r U n i t s ) , c o n t a i n i n g t h e l u m a a n d c h r o m a i n f o r m a t i o n ,a r e i n t e g r a t e d i n t o t h e b i t s t r e a m . E v e r y u n i t s t a r t s w i t h a

E n c o d e d S c a l a b l e h e a d e r f o l l o w e d b y t h e a c t u a l p a y l o a d , w h i c h i s n o t h i n g m o r et h a n a c o n c a t en a t i o n o f e n t r o p y e n c o d e d M a c r o B l o c k s ( M B s ) .D e c o m p o s i t i o n E n t r o p y E n c o d e r T h e NALU h e a d e r c o n t a i n s t h e t y p e o f t h e u n i t . Wh e n t h e

' M o t i o n s l i c e d a t a o f t h e u n i t b e l o n g s t o a n e x t e n s i o n l a y e r , s c a l a b i l i t yR e d u P c t i o n l V e c t o r s X I n t e r p o l a a t i M o n p l i n f o r m a t i o n c a n b e p r e s e n t i n t h e h e a d e r as w e l l .T epr T e x : t u r e T a s o r m a t i o nD e c o m p o s i t i o n E n c o d e r S E I S PS S PS PPS PP S O t h e r N A L U s

R e d u c t i o n ors A LU H e a d e r Ra w B y t e S e q u e n c e P a y l o a dI D e c o m p o s i t i o n l l l l l l n t e r p o l a t i oD e c o m p o s i t i o n E n t r o p y E n c o d e r N a l _ r e f _ i d c N a l _ u n i t t y p e S c a l a b i l i t y _ I n f o S l i c e _ h e a d e r S l i c e - d a t a

M o t i o n M o t i o nV e c t o r s C o d i n g _ I T e m p o r a l l e v e l | D e p e n d e n c y i d | Q u a l i t y _ l e v e l M B M B .. . M BF i g . 1 . J S V M e n c o d e r s t r u c t u r e f o r p r o v i d i n g t h r e e s p a t i a l l e v e l s , [5]. F i g . 2 . S t r u c t u r e o f a s c a l a b l e b i t s t r e a m .

t h i s f i g u r e , o n e c a n s e e t h a t t h e o r i g i n a l i n p u t v i d e o s e q u e n c eh a s t o b e d o w n s c a l e d i n o r d e r t o o b t a i n t h e d i f f e r e n t s p a t i a l I I I . M P E G - 2 1 B S D L FOR J S V M BITSTREAMSl a y e r s ( r e s u l t i n g i n s p a t i a l s c a l a b i l i t y ) . F o r e a c h s p a t i a l l a y e r B S D L i s e m b e d d e d i n p a r t 7 o f t h e MPEG-21 s p e c i f i c a t i o n ;a t e m p o r a l d e c o m p o s i t i o n i s p e r f o r m e d l e a d i n g t o t e m p o r a l t h i s p a r t i s b e t t e r k n o w n a s D i g i t a l I t e m A d a p t a t i o n ( D I A ) .s c a l a b i l i t y . T h e t e m p o r a l s c a l a b i l i t y c a n b e a c h i e v e d i n t w o MPEG-21 d e s c r i b e s a m u l t i m e d i a f r a m e w o r k w h i c h a i m sw a y s , i n p a r t i c u l a r b y u s i n g h i e r a r c h i c a l B p i c t u r e s o r b y t o e n a b l e t h e t r a n s p a r e n t a n d a u g m e n t e d u s e o f m u l t i m e d i au s i n g M o t i o n C o m p e n s a t e d T e m p o r a l F i l t e r i n g ( M C T F ) . B o t h r e s o u r c e s a c r o s s a w i d e r a n g e o f n e t w o r k s a n d d e v i c e s [ 6 ] .t e m p o r a l d ec o m p o s i t i o n s l e a d t o a m o t i o n f i e l d a n d t e x t u r e T h e DIA s t a n d a r d s p e c i f i e s t o o l s t h a t d e s c r i b e t e r m i n a l c h a r -d a t a . T h e l a y e r e d s t r u c t u r e o f t h e J S V M c o n t a i n s t h e p o s - a c t e r i s t i c s , n e t w o r k c a p a b i l i t i e s , a n d u s e r p r e f e r e n c e s . T h es i b i l i t y t o u s e m o t i o n i n f o r m a t i o n a n d t e x t u r e e n c o d i n g o f s p e c i f i c a t i o n a l s o c o n t a i n s t w o t o o l s f o r d e s c r i b i n g t h e h i g h -l o w e r s p a t i a l l a y e r s f o r p r e d i c t i n g t h e i n f o r m a t i o n i n t h e h i g h e r l e v e l s t r u c t u r e o f a n e n c o d e d b i t s t r e a m , i n p a r t i c u l a r B S D Ll a y e r s . F i n a l l y , t h e t e x t u r e i n f o r m a t i o n i s s p a t i a l l y t r a n s f o r m e d a n d g e n e r i c B i t s t r e a m S y n t a x S c h e m a ( g B S S c h e m a ) . I n t h i sa n d e n t r o p y e n c o d e d b y u s i n g F i n e o r C o a r s e G r a i n S c a l a b i l i t y p a p e r , we u s e MPEG-21 B S D L a s a l a n g u a g e f o r d e s c r i b i n g( F G S a n d CGS) t o o b t a i n t h e S NR s c a l a b i l i t y a x i s . t h e h i g h - l e v e l s t r u c t u r e o f c o m p r e s s e d b i t s t r e a m s .T h e s t r u c t u r e o f a b i t s t r e a m g e n e r a t e d b y a c o d i n g s c h e m e MPEG-21 B S D L i s b a s e d o n W3C XML S c h e m a a n d i sa s g i v e n i n F i g . 1 i s d e p i c t e d i n F i g . 2 . E v e r y s c a l a b l e d e v e l o p e d t o a u t o m a t i c a l l y g e n e r a t e B i t s t r e a m S y n t a x D e -b i t s t r e a m s t a r t s w i t h a S u p p l e m e n t a l E n h a n c e m e n t I n f o r m a t i o n s c r i p t i o n s ( B S D s ) . A B S D d e s c r i b e s t h e h i g h - l e v e l s t r u c t u r e( S E I ) m e s s a g e . S u c h a m e s s a g e c o n t a i n s i n f o r m a t i o n a b o u t o f a b i t s t r e a m i n X M L . T h i s X M L - b a s e d d e s c r i p t i o n c a nt h e s c a l a b i l i t y a x e s i n c o r p o r a t e d i n t h e b i t s t r e a m s u c h a s t h e t h e n b e t r a n s f o r m e d i n o r d e r t o r e f l e c t a d e s i r e d a d a p t a t i o nn u m b e r o f s p a t i a l l e v e l s , t h e t e m p o r a l d e c o m p o s i t i o n , t h e o f a s c a l a b l e b i t s t r e a m , a n d c a n s u b s e q u e n t l y b e u s e d t os p a t i a l r e s o l u t i o n o f t h e b a s e l a y e r , t h e f r a m e r a t e , e t c . A n c r ea t e a c u s t o m i z e d v e r s i o n o f t h e b i t s t r e a m . T h e g e n e r a lS E I m e s s a g e c a n b e i g n o r e d b y a d e c o d e r t o r e p r o d u c e t h e f u n c t i o n i n g o f t h e B S D L a r c h i t e c t u r e i s g i v e n i n F i g . 3 .l u m a a n d c h r o m a s a m p l e s a n d i s o n l y n e c e s s a r y t o a s s i s t D e p e n d e n t o n t h e c o d i n g s p e c i f i c a t i o n u s e d , a B S S c h e m a c a nt h e e x t r a c t o r i n g e n e r a t i n g p a r t i a l b i t s t r e a m s [ 8 ] . T h e s e S E I b e d e v e l o p e d s u c h t h a t i t d e s c r i b e s t h e h i g h - l e v e l s t r u c t u r e o fm e s s a g e s a r e v e r y i m p o r t a n t t o s a t i s f y t h e r e q u i r e m e n t t o a c o m p r e s s e d b i t s t r e a m . I n F i g . 3 , o n e c a n s e e t h a t a B S Ds u p p o r t e f f i c i e n t b i t s t r e a m e x t r a c t i o n . A f t e r t h e S E I m e s s a g e , a c a n b e g e n e r a t e d b y a f o r m a t - i n d e p e n d e n t p a r s e r o n c e t h en u m b e r o f S e q u e n c e P a r a m e t e r S e t s ( S P S ) f o l l o w ; i n p a r t i c u l a r o r i g i n a l ( e n c o d e d ) b i t s t r e a m a n d c o r r e s p o n d i n g B S S c h e m a i sa t l e a s t o n e S P S i s n e e d e d f o r e v e r y s p a t i a l l a y e r . A n S P S i s k n o w n . T h e f u n c t i o n i n g o f t h e B i n t o B S D P a r s e r i s d e s c r i b e da p p l i c a b l e t o a c o m p l e t e s e q u e n c e o f p i c t u r e s o f a p a r t i c u l a r i n t h e s t a n d a r d b e c a u s e o f t h e f a c t t h a t a B S S c h e m a c a ns p a t i a l l a y e r a n d c o n t a i n s i n f o r m a t i o n a b o u t t h e p r o f i l e u s e d , o n l y c o n t a i n e l e m e n t s t h a t a r e f i x e d b y BSDL. O n c e a n X M L -t h e s p a t i a l r e s o l u t i o n o f t h e p i c t u r e s i n t h e s e q u e n c e , e t c . A b a s e d B S D i s g e n e r a t e d , t h e d e s c r i p t i o n c a n b e t r a n s f o r m e d b yn u m b e r o f P i c t u r e P a r a m e t e r S e t s ( P P S ) a r e a l s o e n c a p s u l a t e d u s i n g a u b i q u i t o u s t r a n s f o r m a t i o n t e c h n o l o g y s u c h a s X S L Ti n t h e b i t s t r e a m . A P P S a p p l i e s t o a n u m b e r o f p i c t u r e s o f ( E x t e n s i b l e S t y l e s h e e t L a n g u a g e : T r a n s f o r m a t i o n s ) [ 3 ] o r S TXa s e q u e n c e a n d c o n t a i n s i n f o r m a t i o n s u c h a s t h e t yp e o f t h e ( S t r e a m i n g T r a n s f o r m a t i o n s f o r X M L ) [ 4 ] . T h e r e s u l t o f t h e

4 6 6

3/4

t r a n s f o r m a t i o n i s a n a d a p t e d XML d e s c r i p t i o n t h a t i s s t i l l v a l i d < b y t e . s t r e a m _ n a _ n taantthe B S S c h e m a o f t h e c o d i n g s c h e m e u s e d . F rom this443i s a l s o d e s c r i b e d i n t h e MPEG-21 DIA s p e c i f i c a t i o n . T h i s t o o l 2 1 < / f r a m e _ w i d t h _ i n m b m i u s 1 >i s a f o r m a t - a g n o s t i c b i t s t e a m g e n e r a t i o n t o o l , i . e . t h e c o d e b a s e o f t h i s p a r s e r d o e s n o t h a v e t o b e r e w r i t t e n i n o r d e r t o s u p p o r t < / a t i l _ l y e rt h e c u s t o m i z a t i o n o f a n o t h er c o d i n g f o r m a t .< / s e i m e s s a g e >

X M L d e s c r i p t i o n : SEI message( H e x a d e c i m a l r e p r e s e n t a t i o n ) < F r a m e > O 2 < / F r a m e > < n l _ u i t t y p e > 7 < / n a l _ u i t t y p e >4 2 < / F r a m e > 100 P< s e q _ p a r m t e r st i d > O < / s e q _ p a r m t e r s e t i d>Startbyte ~ ~ ~ ~ ~ ~ ~ ~ ~ < / s e q _ p a r m t e r s e t r b s p >B S T r a n s f o r m r a t i o n < n a u i t

Schema e . g . : e l i m ~ ~ ~ i n a t i o n o fthe ( H e x a d e c i m a lepresentation) ~ (Hexadecimal r e p r e s e n t a t i o n ) B S D t o B i n ~ ~ ~ < F r a m e > O 2 < / F r a m e > O < / s e q _ p a r a e t e r s e t i d>F r a m e r a m > 4 < / r a m > 3

, < r w b y t e s ~ e q u n e p a y l o a d >F i g . 3 . F u n c t i o n i n g o f t h e B S D L f r a m e w o r k . < / n a - r e f i d ch e a d e r . O n p e r c a n u s e e b t h a t r w e a m d o h n t d r e s c r m p i b e n t h e i tn c o e d < n l u i ifraioocaalxtninr e s i d u a l d a t a b u t o n l y t h e n e c e s s a r y h e a d e r i n f o r m a t i o n . T h e -~ < t e p o r l _ l v e l > < / t m p o r l _ l v e latualpalodanonoVe o b T a i e d b y t p o i t i n g o t o h b o c s e oa t a s F i g . m 4 Examp y _ e v l e > f a S o n t q a l i n i g y h _ n c s s r l i f o m t i n t o r a l zi n t h e o r i g i n a l b i t s t r e a m ( r e s u l t i n g i n a h i g h - l e v e l d e s c r i p t i o n ) , t h e d i f f e r e n t s c a r m a t i o n l a b ic a l a l e l i t y e t r a n s f o r m a t i o n s . a ti s e p l a r t n o f t h e B S D L s e c f c t i o nholwnds y t h a c t i s ano t apr s e t r c< a w b t s e u n epy o di n t h r s a e W 3 s c r i X M L i S c h M a S t a n a r dteSdttyeSta SSP S , a n d a nL U < s i e x p l a m p 3 2 5 0 9 / l i e _ p y o f a d N L > o t i n n l cM o e o v e r , nB S D L o f e r s t h a w e p s s b i i tn t o d e s c i g n b e w d a t a t y p o e s d ae.Fo/a-ntheSTmsae>n andtchttecrf r o m i d t h e BdLtb u i o l y t - i n d a t t y e s . a r N e v d e r t e s ,n o r m e t o ns y T a x a n a n y t s t e a m n h a l _ n c e e t l y r , i d c t d b y 1 , 4 t m p r l l v le l e m e n t a r e o a havng a e d a t a t y e t a i c n o n e e i e dyo n i g t lo k fd t i n d i c a t e b y a m t h e 3 f a Sn h n c e m e n t n t h n e e m p o r a l l e v e l s ) , a t i n d t h a t h e a l zB S D s u c hi n a s b t t h e a e x p o n e n u t i a ioom d a t a t y p e . v T os r p a r s e ) a t h e i g h e s e t s p a t i l l a b i i y e t r a n c o n m t a i o n s . p c u e f4 B y3 Bs y T a x r e l o e m e n t e t h a t s r e p r e s e n t h e d b y t h i s c j d a t a t y p e w e t h a v e (eutntnafaersltino 0x7 ies.Bsdou s ep a r n o n - n o r m a t i v e s e x t e n s a i o n o t h e B S D i s n t a n d r d , s i n thepof d ytxeeeto nSS h xrcop r i u a t h i m l m n a t i n a t i u e i nh e B S Meatnad t h r d t t p s c t h e a . P Sa n P e c i d t o n w h i c s p a t a l p l a e r t h eS P S L b e l o n g s . n T h e s a m c eT h i s a t t r i b u t e o l l o w s L t o r e f i l y B n y r o e d u r a lo i t b j s e c a t t s p i n o r d e r i s h a p p l e d l o r n t h PPS b ut h a e r e f e r e n c a t o f ah a n e m S S i e s n t ht o r p e r o v r m S Dompexstho p u t a t i o n s i o r t o d e a l g n w i t c o m a t p l e x s niaint h cptaa y e r . r m t e S I m s a e t h e P P S b e l o n g s . h a F i n a l l y ,d a t a t y p e s i b y c a l l i n r J a v a t c l a s s e s X f r o m h e m B S S c e a t a [ 6 ] . o t h e s l a s t n A L U g c o n t t r a i c n s t h e s a c t u i a l l a e c o e d s s l i c d a t e a . y e nf r o EXPOIINGTHD b u l - n d t y p s C A L A B I L I t Y e e s , s o I N y t x nM L n f o r a t i n s c h a s n t h t a e m p o r d i a l , e s p a t i a l , a n q u a l i t y l l e v e l . s It h r e m e n t s c a l a i l t e a ea s i gt o t y b e r e a l i z no e d e i e dyrnsorindtea y r a n e d t o t h e 3baenacmte m p o r a l l v l )n dhebsqultlayer I n eg e n e a t e B S D hWste h a v o e n t i m p G l e m e n t d a t h e y p X M L T t a r a s f o r - c a g h s e h t s p t h i s i n f o r m a t o n t a i n s n o p i t r e s e n t i n t h e N A L U t h e M s l cm y n a t i n b y l u s i n g XSTi e r s n t F i g 4 , a t a r h f i s g n r a ea t a t y ebeaeslongs t o t h r a e b a e s p a u t i a l l a e r O n e 7 c a n x a l s o . B s e e howB s e d i s r e p - n r e s e t e d . v A e x a m p l e o o f t h e f o u r L m s t a i m p o r t a n t t h e b y e R a n g ie i d a t a t y p e t i s u e d l t m p o n ttoaP S b l o c o f t d a c t a rp a r t s c u o f t h e B S D p s l g i e n , a t i n n p a r t r i c u l a r t h h e S E T m S a g e , m a n i a n t h e o i g i n a l b h i t h s t r a m , i n l p a y r t i c l a t o P a b e l o c k s T h a t s t a r t e a

T h s triue l l w t e l o r o e u r l b e c s i n o r e i p p i e orte P S b t h r f e e c e t te467gvs h


4/4

T A B LE IPERFORMANCE MEASUREMENTS.

B i t s t r e a m B i n t o B S D ( s ) S i z e T r a n s f o r m a t i o n s ( s ) B S D t o B i n ( s )# F r a m e s # T e m p L a y e r s # S p a t L a y e r s S i z e ( K b ) R e f S o f t w a r e M o d i f i e d V e r s i o n B S D ( K b ) T e m p S p a t S NR6 0 4 2 5 5 8 3 9 . 4 1 5 . 3 1 7 2 0 . 2 8 0 . 3 0 0 . 3 3 0 . 1 36 4 4 3 4 8 5 1 1 2 . 9 4 1 . 3 3 0 2 0 . 4 3 0 . 4 2 0 . 4 1 0 . 2 01 5 0 5 2 2 0 5 8 1 3 0 . 4 4 9 . 3 3 2 2 0 . 3 4 0 . 4 4 0 . 4 5 0 . 2 13 0 0 5 2 1 4 8 9 4 1 7 . 3 1 66 .9 6 3 1 0 . 4 2 0 . 5 4 0 . 5 7 0 . 2 2

b y t e p o s i t i o n 2 3 3 2 a n d t h a t h a s a l e n g t h o f 5 0 0 9 b y t e s . V i d e o M o d e l ( J S V M ) w a s u s e d . T h e l a t t e r i s a n e m e r g i n gB a s e d o n t h e d i s c u s s e d i n f o r m a t i o n , i t i s c l e a r t h a t i t i s p o s s i b l e v i d e o s p e c i f i c a t i o n t h a t i s b a s e d o n H . 2 6 4 / A V C . T o e x t r a c tt o i m p l e m e n t a s t y l e s h e e t t h a t r e m o v e s t h e n e c e s s a r y N A L U s p a r t i a l b i t s t r e a m s , c o n t a i n i n g a l o w e r s p a t i a l , t e m p o r a l , o ri n o r d e r t o o b t a i n a d e s c r i p t i o n t h a t i s l i n k e d t o a b i t s t r e a m S NR q u a l i t y , we h a v e d e s c r i b e d t h e h i g h - l e v e l s t r u c t u r e o f t h et h a t h a s a l o w e r s p a t i a l , t e m p o r a l , o r S NR q u a l i t y . g e n e r a t e d b i t s t r e a m i n XML b y u s i n g t h e MPEG-21 B i t s t r e a mS y n t a x D e s c r i p t i o n L a n g u a g e s t a n d a r d . F o r t h e f i r s t t i m e , t h eV . EXPERIMENTAL R E S U L T S a d a p t a t i o n a l o n g a s c a l a b i l i t y a x i s o f t h e o r i g i n a l e n c o d e dI n t h i s s e c t i o n , we d i s c u s s t h e p e r f o r m a n c e e v a l u a t i o n o f t h e b i t s t r e a m i s r e a l i z e d b y t r a n s f o r m i n g t h e c o r r e s p o n d i n g XMLB S D L - b a s e d a d a p t a t i o n f r a m e w o r k i n t h e c o n t e x t o f s c a l a b l e d e s c r i p t i o n . D u r i n g a p e r f o r m a n c e a n a l y s i s o f t h e f r a m e w o r k ,b i t s t r e a m s t h a t a r e c o m p l i a n t w i t h JSVM. We h a v e m e a s u r e d o n e c a n c o n c l u d e t h a t t h e g e n e r a t i o n o f t h e d e s c r i p t i o n t a k e st h e p r o c e s s i n g t i m e o f t h e B S D L P a r s e r s , i n p a r t i c u l a r o f t h e a l o t o f t i m e . H o w e v e r , o n c e t h e d e s c r i p t i o n i s g e n e r a t e d , aB i n t o B S D a n d B S D t o B i n P a r s e r , a s w e l l a s t h e t i m e n e e d e d p r o c e s s t h a t o n l y h a s t o b e e x e c u t e d o n c e , t h e t r a n s f o r m a t i o nt o e x e c u t e t h e t r a n s f o r m a t i o n s i n t h e XML d o m a i n . We h a v e o f t h e d e s c r i p t i o n a s w e l l a s t h e s u b s e q u e n t g e n e r a t i o n o fu s e d t w o i m p l e m e n t a t i o n s o f t h e B S D L s o f t w a r e t o o b t a i n t h e a d a p t e d b i t s t r e a m f r o m t h e t r a n s f o r m e d d e s c r i p t i o n c a n b et h e e x e c u t i o n t i m e s . T h e f i r s t i m p l e m e n t a t i o n i s v e r s i o n 1 . 2 . 1 e x e c u t e d v e r y f a s t . F i n a l l y , we c a n c o n c l u d e t h a t J S V M i s ao f t h e MPEG-21 B S D L r e f e r e n c e s o f t w a r e , w h i l e t h e s e c o n d g o o d c a n d i d a t e t o b e d e s c r i b e d i n XML a n d t h a t t h e g e n e r a t e di m p l e m e n t a t i o n c o n t a i n s s o m e o w n - d e v e l o p e d o p t i m i z a t i o n s . d e s c r i p t i o n s c a n b e u s e d i n a s t a n d a r d i z e d m u l t i m e d i a f o r m a t -M o s t o f t h e e x e c u t i o n t i m e o f t h e B i n t o B S D P a r s e r s i s s p e n t a g n o s t i c c o n t e n t a d a p t a t i o n f r a m e w o r k s u c h a s MPEG-21.o n t h e e v a l u a t i o n o f X P a t h e x p r e s s i o n s . I n o u r m o d i f i e d ACKNOWLEDGMENTv e r s i o n , t h e p r o c e s s t o e v a l u a t e t h e X P a t h e x p r e s s i o n s i si m p l e m e n t e d i n a f a s t e r m a n n e r , i n p a r t i c u l a r b y u s i n g t h e T h e r e s e a r c h a c t i v i t i e s t h a t h a v e b e e n d e s c r i b e d i n t h i sX a l a n l i b r a r y a s e f f i c i e n t a s p o s s i b l e . T h e t r a n s f o r m a t i o n s u s e d p a p e r w e r e f u n d e d b y G h e n t U n i v e r s i t y , t h e I n t e r d i s c i p l i n a r yr e m o v e t w o t e m p o r a l l e v e l s , o n e s p a t i a l l a y e r , o r e l i m i n a t e t h e I n s t i t u t e f o r B r o a d b a n d T e c h n o l o g y ( I B B T ) , t h e I n s t i t u t e f o re n h a n c e m e n t q u a l i t y l a y e r . t h e P r o m o t i o n o f I n n o v a t i o n b y S c i e n c e a n d T e c h n o l o g y i nT h e m e a s u r e m e n t s w e r e d o n e o n a PC h a v i n g a n I n t e l P e n t i u m F l a n d e r s ( I W T ) , t h e F u n d f o r S c i e n t i f i c R e s e a r c h - F l a n d e r sI V C P U , c l o c k e d a t 2 . 8 G H z w i t h H yp e r - T h r e a d i n g a n d h a v i n g ( F W O - F l a n d e r s ) , t h e B e l g i a n F ed e r a l S c i e n c e P o l i c y O f f i c e1GB o f RAM a t i t s d i s p o s a l . T h e b i t s t r e a m s w e r e c r e a t e d b y ( B F S P O ) , a n d t h e E u r o p e a n U n i o n .r e l y i n g o n t h e J S V M r e f e r e n c e s o f t w a r e v e r s i o n 3 . REFERENCEST h e r e s u l t s o f o u r p e r f o r m a n c e a n a l y s i s a r e g i v e n i n T a b l e I .The f r e s u l t s o l u c e f o n t a i n c e c a r a c t e r i s t i s et v e s c a b l e . [ 1 ] A p p l i c a t i o n s a n d R e q u i r e m e n t s f o r S c a l a b l e V i d e o C o d i n g , I S O / I E CT h e f i r s t c o l u m n s c o n t a i n t h e c h a r a c t e r i s t i c s o f t h e s c a l a b l e J T C I / S C 2 9 / W G I I / N 6 8 8 0 , J a n u a r y 2 0 0 5 .b i t s t r e a m s u s e d , s u c h a s t h e s i z e , t h e n u m b e r o f f r a m e s , [ 2 ] I T U - T a n d I S O / I E C J T C 1 , A d v a n c e d v i d e o c o d i n g f o r g e n e r i c a u d i o v i -s p a t i a l l a y e r s , a n d t e m p o r a l l e v e l s . The e x e c u t i o n t i m e o f t h e s u a l s e r v i c e s , I T U - T R e c . H . 2 6 4 a n d I S O / I E C 1 4 4 9 6 - 1 0 A VC ( 2 0 0 3 ) .B i n t o B S D P a r s e r t o o b t a i n t h e BSDs i s h i g h , c e r t a i n l y i n [ 3 ] M . K a y , X S LT P r o g r a m m e r ' s R e f e r e n c e , 2 n d E d i t i o n . W r o x P r e s s L t d .B i r m i n g h a m , UK, 2 0 0 1 .c o m p a r i s o n w i t h t h e l e n g t h o f t h e b i t s t r e a m a n d t h e g e n e r a t i o n [ 4 ] P . C i m p r i c h , S t r e a m i n g T r a n s f o r m a t i o n s f o r X M L ( S T X ) V e r s i o n 1 . 0 W o r k -o f t h e b i t s t r e a m b y t h e BSDtoBin t o o l . On e c a n s e e t h a t o u r i n g D r a f t , h t t p : H l s t x . s o u r c e f o r g e . n e t / d o c u m e n t s / s p e c - s t x - 2 0 0 4 0 7 0 1 . h t m l ,m o d i f i e d v e r s i o n o f t h e r e f e r e n c e s o f t w a r e n e e d s l e s s t i m e J u l y , 2 0 0 4 .[ 5 ] J . R e i c h e l , M . W i e n , H S c h w a r z , J o i n t S c a l ab l e V id eo M o d e l J S V M - 3 ,t o g e n e r a t e t h e s a m e B S D . U s i n g t h e a l g o r i t h m a s d i s c u s s e d D o c . J V T - P 2 0 2 , J u l y 2 0 0 5 .i n [ 7 ] s h o u l d l e a d t o l o w e r e x e c u t i o n t i m e s , b u t t h i s i s n o t t h e [ 6 ] D. D e S c h r i j v e r , C . P o p p e , S . L e r o u g e , W . D e N e v e , R . V a n d e W a l l e ,m a i n t o p i c o f t h i s p a p e r . F u r t h e r , t h e X S L T t r a n s f o r m a t i o n s MPEG-21 B i t s t r e a m S y n t a x D e s c r i p t i o n s f o r S ca l a b le V i d eo C o d e c s ,A c c e p t e d f o r p u b l i c a t i o n i n M u l t i m e d i a S y s t e m s J o u r n a l .c a n b e e x e c u t e d v e r y f a s t . T h e k i n d o f s c a l a b i l i t y t h a t i s [ 7 ] D . D e S c h r i j v e r , W . D e N e v e , K . D e W o l f , a n d R . V a n d e W a l l e , G e n -e x p l o i t e d d o e s n o t h a v e a n i m p a c t o n t h e e x e c u t i o n t i m e s . e r a t i n g M P E G - 2 1 BSDL D e s c r i p t i o n s U s i n g C o n t e x t - R e l a t e d A t t r i b u t e s ,P r o c e e d i n g s o f t h e 7 t h I E E E I n t e r n a t i o n a l S y m p o s i u m o n M u l t i m e d i a .

VI. C ON C L U S I O N S I r v i n e ( C A , USA) D e c 2 0 0 5 , p p . 7 9 - 8 6 .[ 8 ] W . De N e v e , D . V a n D eu r s en , D . De S c h r i j v e r , K . De W o l f , a n d R . V a nI n t h i s p a p e r , we h a v e d e s c r i b e d a h a r m o n i z e d a p p r o a c h d e W a l l e , U s i n g B i t s t r e a m S t r u c t u r e D e s c r i p t i o n s f o r t h e E x p l o i t a t i o n o fb e t w e e n ~ ~ ~h u s o f s c l a l vi e c o i n an a 1 e a a a M u l t i - l a y e r e d T e m p o r a l S c a l a b i l i t y i n H .2 64 /A V C ' s B a s e S p e c i f i c a t i o n ,n e t w e n t n e u s e s c a a n l e l u e o o u l n a n u m e t a a t a - P r o c e e d i n g s o f t h e 2 0 0 5 P a c i f i c - R i m C o n f e r e n c e o n M u l t i m e d i a ,d r i v e n c o n t e n t a d a p t a t i o n e n g i n e . T h e r e f o r e , i n o r d e r t o o b - S p r i n g e r - V e r l a g , J e j u , K o r e a , 2 0 0 5 , p p . 6 4 1 - 6 5 2 .t a m n f u l l y e m b e d d e d s c a l a b l e b i t s t r e a m s , t h e J o i n t S c a l a b l e

4 6 8

Documents

XML-based customization along the scalability axes of H.264/AVC scalable video coding