shono DIA06 - SIC › ~yaoki › mediaeng › imgret1.pdfHIST1 HIST1 HIST3 B G B R R G B HIST2 Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and Pitching

08.6.17

1

Shibaura-Institute of Tech.Media Engineering Lab. 06/03/10 1

シーン自動検出と投球動作分析を用いた　野球中継映像のインデキシング手法の提

案 Automatic Scene Detection and Pitching Motion Analysis for Baseball Video Indexing Support

芝浦工業大学大学院　工学研究科　電気電子情報工学専攻　メディア工学研究室

●庄野雄紀　　青木義満

Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and

Pitching Motion Analysis for Baseball Video Indexing Support

2

研究背景・大容量記憶メディアの普及・動画圧縮・転送技術の発達・放送方式のシフト

マルチメディアコンテンツの氾濫

効率よい検索・管理技術への要求



3

研究背景映像メディアの効率よい検索・管理を実現するためには・・・

詳細なメタデータの付与を行う必要がある

従来→人手によるインデクス付与各映像の特性を考慮した自動化へ



4

映像メディア内容記述の国際標準

Mpeg7 Multimedia Content Description Interface

• 従来のＭＰＥＧのような圧縮アルゴリズムではない

• マルチメディア情報に対するメタデータ記述の国際標準

• コンテンツの記述や素性を抽出する方法は規定しない

• ＸＭＬに準拠

それぞれがニーズにあったアプリケーションを開発する事が求められる RICOH Movie Tool



5

従来研究

ニュース映像、スポーツ映像に対しそれぞれの特性に沿った

構造化手法が提案されている．

News programs Sports programs



6

研究目的

投球シーンセンターカメラ

野球番組映像ストリームから、固定カメラショットシーン（投球シーン）を自動的に抽出・分類する手法の提案

08.6.17

2



7

なぜ投球シーンか？

Inning Score Count

Name Batting Ave. etc.

Color Motion Position

メタデータ付与に有益な情報が含まれている



8

なぜ投球シーンか？

Pitching scene hit Camera change Pitching scene

投球シーンは野球映像において一連のプレイシーンの先頭シーンであり、映像構造化のキーとなる



9

研究の流れ

1 2 4

1 2 5 3 6 7 18 19 20 26 27 28 4 8 11 9 12 13 22 23 24 29 30 33

10 16 14 17 15 21 25 31 32 34 35 36

Target video

Pitching scenes

Pitching scene groups

シーン抽出

カット点の位置、シーンの位置情報、選手の色情報など

映像検索に有用なメタデータを付与する．

自動分類

3



10

野球中継映像特性



11

野球映像特性①

• 投球シーン中心の構成

• ショットレングスの安定性

250frames 130frames 120frames 220frames 220frames



12

野球映像特性② • 背景色情報は安定

• オブジェクト（選手・テロップ）が不安定

Game Information Telop

Players’ Area

Player Data Telop

08.6.17

3



13

野球映像特性③

• カット点において頻繁に視覚効果が出現する



14

野球映像特性④

動的環境下においては照明条件が変化

t



15

処理の内容



16

+

Pitch by Pitch ダイジェストの生成

対象映像

Mpeg７によるメタデータ付与支援

マスク画像の生成

マッチング処理

カット点検出

ショット選択

投球シーン抽出背景画像生成

投球シーンのアーカイブ

テンプレートの生成

投球シーン抽出処理

選手領域抽出

投球動作区間フレームの取得

相関マトリクスの生成

投球シーンの分類

投球シーン分類処理



17

+



カット点検出

ショット選択







18

カット点の検出 -Shot Segmentation-

映像ストリームをショット単位に分割する

Target Video

Shot1 Shot2 Shot3 Shot4 Shot N

CUTPOINT!

→テンプレート生成に必要なサンプルソースを得るための前処理

08.6.17

4



19


R

G B

R G

B

R

G B

HIST1 HIST1

HIST3

B G

R

B G

R

B G

R R G

B

R G

B

HIST1

HIST2



20


60frame 60frame

sequence cut! cut point search

process

process

3frame Effect?



21


Shots 1 Shots 2 Shots 3

Manually selected pitching shots

Shots 1 Shots 2 Shots 3

Manually selected pitching shots

Selecting color of maximum appearance frequency

選択したショット全体からピクセルごとに最大頻度を持つ輝度を選択



22

+



カット検出

ショット選択







23


X Frames

10×10 Pixels

ＢｌｏｃｋＳｉｚｅ＝２０

Pitching scene template Input Image

○ ×



24


Hue Difference Brightness Difference

Composite Image Block Filter

Time Difference

matching

Input Image

Motion Difference

08.6.17

5



25

+

Pitch by Pitch ダイジェストの生成

対象映像

Mpeg７によるメタデータ付与支援



カット点検出

ショット選択





選手領域検出







26

+

選手領域検出





投手の投球動作の反復に注目した投球シーン分類を試みる．



27

投手領域検出

Window Searching Area

Window Searching Area

差分マスク画像に対し検索窓を走査させる事で取得



28


Key frames

選手は動き出しからリリースまで安定した動作を反復する



29

+

選手領域検出







30


255240200180

240255220200

200220255230

180200230255

255240200180

240255220200

200220255230

180200230255

Shot A

Sho

t B

255240200180

240255220200

200220255230

180200230255

255240200180

240255220200

200220255230

180200230255

Shot A

Sho

t B

255240200180

240255220200

200220255230

180200230255

255240200180

240255220200

200220255230

180200230255

Shot A

Sho

t B

Shot A

Sho

t B

( )( )

∑∑ −∑∑ −

∑∑−

=

−

=

−

=

−

=

−

=

−

=

−−

=1

0

1

0

21

0

1

0

2

1

0

1

0

)],[()],[(

],[],[

N

j

M

i

N

j

M

i

N

j

M

i

sjisfjif

sjisfjifR

f [ i, j ] = input image color value

s[ i, j ] = template color value

[ ] 2553

),(),(),(, ・

B jAiB jAiB jAiji RRRM BGRpixel

++=

[ ] の輝度値における相関マトリクス j)Pixel(i,M, =jiM pixel相関値るペアのフレーム位置）におけの、ショット RGB(BA),(

),,(positionBA positionpositionR BGR

=

[ ] 2553

),(),(),(, ・

B jAiB jAiB jAiji RRRM BGRpixel

++=

[ ] の輝度値における相関マトリクス j)Pixel(i,M, =jiM pixel相関値るペアのフレーム位置）におけの、ショット RGB(BA),(

),,(positionBA positionpositionR BGR

=

08.6.17

6



31

相関マトリクスの特性

同一の動作に対して生成異なる動作に対して生成



32

位置補正

Centroid of pitching motion Centroid of pitching motion より厳密なシェイプの

マッチングを実現する



33

実験



34

実験以下のシステムを用いて, 実際の野球映像を対象に本研究の有効性を調べる。

投球シーンテンプレート

入力ファイルのデータ表示部

入力映像

ファンクション部

マスク生成部とマッチング表示

マッチングレート

投球シーンテンプレート

入力ファイルのデータ表示部

入力映像

ファンクション部

マスク生成部とマッチング表示

マッチングレート

対象映像 A 対象映像 B

相関マトリクス

投球シーン抽出ソフトウェア投球シーン解析ソフトウェア



35

実験１

Video format : IndeoVideo Codec 320×240 29.97 frame/s

PC : CPU Pentium M 1.30 GB　Memory 1.0 G RAM

実験　Ⅰ　　投球シーン抽出性能の調査

A 2002年日本テレビ放映の巨人-中日戦

東京ドーム 5839 Frames

B 2002年日本テレビ放映の巨人-中日戦


C 2003年BS-Hi放映の阪神-中日戦

甲子園 5860 Frames

D 2004年日本テレビ放映の2004年放映の巨人-中日

戦


Target Video



36

実験結果

06%351327216000D059%1776860C023%403118900B010%16135839Ａ

ＦＲＲ

（正解拒否率）

ＦＡＲ

（誤検出率）

検出された

シーン数

実存投球

シーン数総フレーム数対象ビデオ

06%351327216000D059%1776860C023%403118900B010%16135839Ａ

ＦＲＲ

（正解拒否率）

ＦＡＲ

（誤検出率）

検出された

シーン数

実存投球

シーン数総フレーム数対象ビデオ

08.6.17

7



37

Pitch by Pitch Digest



38

自動生成されたメタデータ

<Mpeg7 xmls="urn:mpeg:mpeg7:schema:2001"...>

<Description xsi:type="ContentEntityType">

<MultimediaContent xsi:type="AudioVisualType">

<AudioVisual id="C:\【My datas】\【For Research】\野球君シリーズ\野球君LIGHT\test movie and temp\giants.avi">

<MediaTimePoint>T00:00:00</MediaTimePoint>

<MediaDuration>5839</MediaDuration>

<AudioVisualSegment id=Pitching Scene2>

<MediaTime>

<MediaTimePoint>210</MediaTimePoint>

<MediaTimeDuration>155</MediaTimeDuration>


<MediaTime>




<MediaTime>




<MediaTime>





39

実験２実験　２　　４投手の投球動作５ショット、　　　　　　全２０ショットによる相関マトリクス生成

Player１：チームA　右投げオーバースロー Player２：チームA　右投げオーバースロー

Player４：チームＢ　左投げサイドスロー Player３：チームB　右投げオーバースロー



40

生成されたマトリクス

各投手の投球数が既知でなかった場合、投球シーンをどのように分類するか？



41

マトリクスを用いた投球シーン分類

100 83 91 88 91 60 49 63 62 60

95 91 93 92 62 67 67 71 71

97 96 96 76 64 62 70 72

97 96 77 66 63 71 71

97 77 65 62 71 73

87 79 78 84 85

85 85 84 85

86 85 82

88 80

88

89 93 94 94 75 68 70 76 77

4 1 0 19 7 2 6 1

Player 1 Player 2

マトリクス[1,1]に対する相関値テーブル

注目マトリクスに対する各マトリクスの相関値

微分値



42

Pla

yer 1

P

laye

r 2

Pla

yer 3

P

laye

r 4

実験結果 Player 1 Player 2 Player 3 Player 4

08.6.17

8



43

まとめと今後の課題

まとめ野球映像の特性に着目した上で、その根幹をなしている投球シーンの自動抽出を行う手法を提案した．

投手の存在領域を検出・また動作を解析する事で相関マトリクスを生成しプレイヤーの動作に基づき投球シーンの自動分類を行える可能性を示した．

今後の課題 • 　選手トラッキング精度の向上

• 　投球動作フレーム列（動作開始からリリースまで）の自動的かつ正確な抽出

• 　相関マトリクス生成手法の改良、より詳細なクラスタリング手法の提案

　　　　　　これらに基づき、より詳細なインデキシング支援システムを構築する．

Documents

shono DIA06 - SIC › ~yaoki › mediaeng › imgret1.pdfHIST1 HIST1 HIST3 B G B R R G B HIST2 Shibaura-Institute of Tech.Media Engineering Lab. Automatic Scene Detection and Pitching