MPEG-7 Overview

10/21

Section 1

Introduction

Context 大量的多媒體內容 ( 圖檔或影音 ) 產生。

由於現今的搜尋引擎主要是以文字為基礎作搜尋 (text-based search engine) ，這種純文字的搜尋方式已漸漸無法滿足使用者的需求。

Context (contd.) 由於各類多媒體內容的差異甚大，因此使用者很難去

獲取他們想要的資訊。 每個人對多媒體資料的描述不盡相同，所以如何將不

同的多媒體內容，以一個相同的介面將其轉成一種統一的描述方式儲存於資料庫中。

– MPEG-7 Why not MPEG-5/6 ? (MPEG)7=1+2+4

MPEG-7 Standard MPEG-7 will be a standardized descriptions of

multimedia information. Formally called “Multimedia Content

Description Interface” (MCDI). Content-based Retrieval. The description will be associated with the

content itself, to allow fast and efficient searching for material.

Description 在 MPEG-7 中主要的元件有 : ․ Description tools - D , DS ․ DDL (Description Definition Language) ․ System tools - 對於一些在 MPEG-7 description 中的應用提供 二元編碼的表示。

Description (contd.) Description 是與應用相關的，也就是說根據不同的應用所使用的 Description 是不同的。

Example文字 圖像 語音

Low level descripti

on

字形 字體段落

顏色 紋理形狀

音調 音色

High level descripti

on

種類 性質思想

意涵 物件 關鍵詞 情緒

Description (contd.) 為了擁有對影音內容的描述，必須包含其它型

態的多媒體資訊 : ․ The form ․ Conditions for accessing the material ․ Classification ․ Links to other relevant material

Description (contd.) MPEG-7 Descriptions of content that may include ： ․ 影音內容創作與生產的資訊 ( 作者或標題 ) 。 ․ 影音內容使用的相關資訊 ( 著作權、使用歷程或播放清單 ) 。 ․ 影音內容儲存的特徵 ( 儲存格式或編碼方式 ) 。 ․ 影音內容空間與時間的結構資訊。 ․ 影音內容低階特徵的資訊 ( 顏色或形狀 ) 。 ․ 影音內容包含的概念性資訊 ( 物件或情境 ) 。 ․ 如何有效的瀏覽影音內容 ( 摘要 ) 。 ․ 物件的收集資訊。 ․ 影音內容與使用者的互動資訊 ( 使用者喜好 ) 。

MPEG-7 Elements MPEG-7 在其標準中定義了下列八種 elements : ․Data - 指由 MPEG-7 所描述的影音資訊，不考慮它們的儲存、編碼、 顯示、傳輸、媒介或技術。 - 例如 : 一個影像的磁帶、一個包含演講或是音樂的 CD 以及一

張紙上的圖片。 ․ Feature - 指一個能夠表示 Data 中某物特色的特徵。 - 例如 : 圖像的顏色、語音的聲調、音頻的旋律。

MPEG-7 Elements (contd.)

․Descriptor (D) - 對內容的特徵作定義。 - 通常用以描述 low-level features 。 - D 的好壞取決於它們的效能和大小。 - 一個特徵可能有多個 Descriptors ，如顏色特徵可能的 D 有：顏

色 直方圖、頻率分量的平均值等。 ․Description value - 在一個 data 集合中一個 D 的實例。 - feature 需藉由有意義的特徵表示 (D) 和它的實例 (Description value)才可比較。

MPEG-7 Elements (contd.)

․Description Scheme (DS) - 通常用以描述 high-level features 。 - DS 和 D 的區別是： D僅包含基本的資料類型，而 DS 可同時包含

D 與 DS 。․Description - 一個 description 由一個 DS 和一組 Description value組成。․Coded Description - 指一個為了滿足某種的相關要求 ( 如壓縮效率和隨機存取 )而編碼

的 Description 。

MPEG-7 Elements (contd.)

․Description Definition Language (DDL) - 是一種允許產生新的 DS 和 D 的語言，並且允許擴展和修改現

有 的描述機制。 - MPEG-7採用 XML Schema Language來做其 DDL 。 - 由於 XML並非專為影音內容而設計，因此在 DDL 的使用上， X

ML 必須做一些功能上的擴充。 - 是以某些語法的規則來表示並組合 D 與 DS 。

Description Tools

DS 與 D之關係圖如下

D D D

DS DS

D D D

DS

DDL

Description Tools (contd.)<letter> DS

<header> DS<name>Mr. John Smith</name> D<address> DS

<street>15 rue Lacepede</street> D<city>Paris</city> D

</address></header><text>Dear Mr. Doe, .....</text> D

</letter>

Description Tools (contd.)

text

letter

header

addressname

street city

前例所形成的 DS 如下 :

Scope of the Standard

․ Description generation 指的就是 feature extraction.․ Description consumption則是 search engine.․ Feature extraction 和 search engine都不在 standard 的範圍內，原 因是很難對廣大的應用範圍制訂一個所有個案都適用的特徵擷取 與搜尋引擎。

Scope of the Standard (contd.)

MPEG-7 主要元件關係圖

Scope of the Standard (contd.)下圖為一個 MPEG-7 可能的應用

Applications Pull ․ 應用於 Search, Query and Browsing 。 - 使用者必須向伺服器 ( 儲存影音檔案、 MPEG-7 descriptions

資料 庫等 )查詢他感興趣的資料。

․Example - 在鍵盤上彈幾個小節的音樂，從資料庫中找出相似的歌曲。 - 用一個人的大頭照，從資料庫中找出所有這個人的相片。

Applications (contd.) Push ․ 應用於 Filter 。 - 不像 Pull 必須向靜態的資料庫中節取出想要的資料，而是使 用者從MPEG-7 的資料串流中過濾出感興趣的資料。 ․ Example - 使用者可以根據所收到廣播內的 MPEG-7 資訊判斷是否要接 收。例如只想看新聞裡面 有總統大選的相關資訊。

Applications (contd.) MPEG-7 標準的應用領域十分廣泛，包括 : ․數位圖書館 ( 圖像目錄，音樂字典… ) ․ 多媒體目錄服務 ( 例如黃頁號碼簿… ) ․廣播媒體選擇 ( 無線電頻道， TV頻道… ) ․ 多媒體編輯 ( 個人電子新聞服務，媒體寫作 ) ․ 在教育，娛樂 ( 例如查找遊戲， KARAOKE) ，醫療應 用，地理資訊系統，等領域都有潛在的應用價

Workplan Call for proposals Oct. 199

8 Working draft Mar. 200

0 Committee draft Oct. 2000 Final committee draft Jan. 2001 Draft international standard July 2001 International standard Oct. 2001

Section 2

Detailed technical description of the MPEG-7 Technologies

Multimedia Description Schemes (MDS)

DSs 是用於描述及標記影音內容的 metadata structures 。

DSs 可藉由將 Ds 與 DSs整合在一起，以製造出一個更複雜的 description 。

在某些情況下， DSs 可經由一些自動化的工具來實體化，但是在大部分的例子中，要實體化 DSs 必須藉由使用者本身的協助。

Organization of MDS tools MDS 可分成下列幾個領域

Basic Elements

Schema Tools : 幫助MPEG-7 descriptions進

行結構、包裝、以及標記。 Basic datatypes : 提供一些額外的結構 ( 如 vectors 以及 matrices) 使 DSs 能夠來描述特殊的

影音內容。

Content Management Creation Information - creation & classification Media Information - storage media Usage Information - right ， usage record ， financial

Content Management (contd.) Terminologies ․Content : 指一個具有特定結構去表示某真實物件的 實體。 ․Media Instance : 指那些由內容實體經由實體化而得 的 physical entities 。 ․Media Profile : 一個內容實體可擁有一個或多個 media profiles 以對應其不同的 Coding Schemes 。

Content Management (contd.)

Content Description Structural aspects V.S. Conceptual aspects ․ 結構的工具用以描述影音內容的 segments 、 frames 以及 still and moving regions... 等。 ․ 語意的工具用以描述影音內容的 objects 、 events 以及 notions... 等。 ․ 可藉由一些 links 將 Structure DSs 與 Semantics DSs連結起來，

使 影音內容可同時具有結構的以及語義的描述。 ․ 大部分的內容描述以及內容管理的 DSs 是彼此相連的。

Navigation and Access MPEG-7亦提供一些能使影音內容的瀏覽及檢 索更方便的 DSs : ․Summaries ◊ navigation modes : hierarchical V.S. sequenti

al ․Partitions and Decompositions - multi-resolution ， progressive retrieval ․Variations

User Interaction 以 User Interaction DSs 描述有關多媒體內容

的 使用歷史以及使用者的偏好。 - 幫助影音內容的存取、呈現以及消耗具有個人化的 特性。